Evaluability Assessment des UNICEF-Länderprogramms für Jordanien 2023-2027
Mit der Bewertung der Evaluierbarkeit (Evaluability Assessment – EA) des UNICEF-Länderprogramms für Jordanien (JCO) sollte sichergestellt werden, dass die mittel- und langfristigen Ergebnisse der Programmziele letztlich nachgewiesen werden können. Die EA bezog sich auf das JCO-Länderprogramm 2023-2027, einschließlich der sechs Programmbereiche (Gesundheit und Ernährung, Bildung, Kinderschutz, Jugendliche und Jugend, WASH, Sozialpolitik und sozialer Schutz), der Monitoringsysteme, der Jahresplanung und der Evaluierungspläne sowie der sektorenübergreifenden Prioritäten (Gleichstellung der Geschlechter, Eingliederung von Menschen mit Behinderungen, Klimawandel, soziale Gerechtigkeit, Änderung des Sozialverhaltens (SBC) und Schutz vor sexueller Ausbeutung und Missbrauch (PSEA)).
Ziel der Bewertung der Evaluierbarkeit war es, (1) eine unabhängige Beurteilung darüber abzugeben, wie gut JCO auf die Evaluierung eines Länderprogramms oder eines strategischen Rahmens vorbereitet ist, und (2) Empfehlungen zur Verbesserung der Evaluierbarkeit des JCO Country Programme Document (CPD) abzugeben. Es sollte untersucht werden, ob die JCO geplant hat, die Hauptrisiken wirksam zu bewältigen, Mechanismen für die rechtzeitige Umsetzung der Evaluierungsempfehlungen einzurichten und ob sie über die wesentlichen Ressourcen und die Infrastruktur verfügt, die für den Nachweis der Erreichung der Ziele erforderlich sind. Die EA zielte darauf ab, die Vorbereitung der JCO auf die bevorstehende Evaluierung der CPD zu verbessern.
Bei der Bewertung der Evaluierbarkeit wurde ein theoriegestützter Ansatz verwendet, um die methodischen Voraussetzungen zu analysieren, die für die Bewertung der Effektivität, Wirksamkeit und der Nachhaltigkeit des UNICEF-Länderprogramms erforderlich sind. Zu diesen Voraussetzungen gehörten klare Definitionen der Programmergebnisse, die Verfügbarkeit von Ausgangsdaten und zeitnahe Zieldaten. Die EA zielte auch darauf ab, aussagekräftige Hypothesen aufzustellen, um die kausale Beziehung zwischen dem JCO und den beobachteten Entwicklungsergebnissen zu verstehen. Kontextfaktoren wurden als entscheidend für eine valide Analyse angesehen, wobei der Schwerpunkt auf der Identifizierung und Überwachung von Risiken und Rahmenbedingungen lag. Eine detaillierte Evaluierbarkeitsmatrix diente als Leitfaden für die systematische Analyse und die strukturierte Datenerhebung. Es wurde ein Mixed-Methods-Ansatz gewählt, bei dem primäre und sekundäre Datenquellen sowie qualitative und quantitative Methoden verwendet wurden, um Gültigkeit und Zuverlässigkeit zu gewährleisten. Die Beteiligung der Stakeholder war integraler Bestandteil der Studie und umfasste Interviews mit den Leitern der JCO-Sektionen und -Abteilungen, Konsultationen und Feedback-Schleifen, um verschiedene Perspektiven einzubeziehen.
Erarbeitung eines M&E-Konzepts für die internationale Projektarbeit des BBK
Das Referat Internationale Angelegenheiten im Bundesamt für Bevölkerungsschutz und Katastrophenhilfe (BBK) entwickelt im Rahmen des internationalen Engagements Deutschlands Projekte im Ausland. Diese basieren auf der Expertise im Zivil- und Katastrophenschutz und werden in Zusammenarbeit mit nationalen und lokalen Behörden im Ausland umgesetzt.
Das BBK hat die CEval GmbH beauftragt, es bei der Entwicklung eines bedarfsgerechten Monitoring- und Evaluierungssystems (M&E) für die internationale Projektarbeit zu unterstützen. Die Ziele des Auftrages waren: (i) die Erarbeitung eines M&E-Konzeptes für die internationale Projektarbeit des BBK unter Berücksichtigung bereits vorhandener Projektdokumente, der (politischen) Rahmenbedingungen und der strategischen Ausrichtung des BBK sowie unter Berücksichtigung der personellen Kapazitäten; (ii) die Weiterentwicklung bereits vorhandener bzw. die Entwicklung zusätzlicher Instrumente, um das wirkungsorientierte Monitoring der internationalen Projekte effizienter zu gestalten; (iii) die Vorstellung des Konzeptes und der Instrumente im Rahmen eines Workshops für die Projektmitarbeiterinnen und -mitarbeiter sowie die Projektleitungen des BBK.
Bei der Entwicklung des M&E-Systems für das Referat Internationale Angelegenheiten des BBK verfolgte die CEval GmbH einen theoriegeleiteten Ansatz, um die Grundlagen für ein wirkungsorientiertes M&E-System zu schaffen. Darüber hinaus verfolgte das Team einen partizipativen Ansatz unter enger Einbindung des Auftraggebers, um das M&E-System bestmöglich auf die Bedürfnisse des Auftraggebers auszurichten. Das Team beriet und unterstützte das BBK bei der Einführung von SMART-Indikatoren auf verschiedenen Ebenen für ein methodisch fundiertes M&E-System und führte einen M&E-Workshop für Projektmitarbeitende und Projektleitungen für die Projekte in Jordanien, der Ukraine und Tunesien durch.
#eSkills4Girls Initiative
Die Initiative #eSkills4Girls zielt darauf ab, die digitale Kluft zwischen den Geschlechtern zu schließen, indem der Zugang von Frauen und Mädchen zu (Weiter-)Bildungsmaßnahmen zur Verbesserung ihrer digitalen Kompetenzen gefördert wird. Die Initiative wurde 2017 vom BMZ im Rahmen der deutschen G20-Präsidentschaft ins Leben gerufen und vom Sektorvorhaben (SV) Bildung der Deutschen Gesellschaft für internationale Zusammenarbeit (GIZ) verwaltet. Seitdem hat die Initiative Partnerschaften mit dem privaten und öffentlichen Sektor aufgebaut und ist EQUALS beigetreten, der globalen Multi-Stakeholder-Partnerschaft zur Förderung der Geschlechtergleichstellung im digitalen Zeitalter.
Um die digitalen Fähigkeiten von Frauen und Mädchen zu verbessern, richtete die Initiative den #eSkills4Girls-Fonds ein, um 27 bestehenden Bildungspartnerschaften über EQUALS eine Finanzierung zukommen zu lassen. Außerdem fungierte #eSkills4Girls als Community-Manager für 9 bilaterale Projekte, die durch das BMZ finanziert wurden. Weitere Aktivitäten von #eSkills4Girls zielen darauf ab, politische Entscheidungsträger*innen für das Thema zu sensibilisieren, weibliche Vorbilder zu präsentieren sowie Austausch und Lernen zwischen den Projekten zu fördern.
Die CEval GmbH wurde mit der Durchführung einer Wirkungsevaluation von #eSkills4Girls durch die GIZ beauftragt. Ziel der Evaluation war es, ein besseres Verständnis dafür zu erlangen, inwieweit die verschiedenen Aktivitäten ihre jeweiligen Ziele erreicht haben. Auf der Grundlage der Evaluierungsfragen wurde die Initiative anhand des OECD-DAC-Kriteriums „Wirksamkeit“ bewertet. Um die fehlenden Informationen und Daten nach der anfänglichen Prüfung vorhandener Sekundärdaten zu ergänzen, wurde eine Datenerhebung mittels Onlinefragebögen für die Unterauftragnehmer des #eSkills4Girls Fund durchgeführt. Darüber hinaus wurden Projektberichte und Monitroringdaten der bilaterale Projektpartner ausgewertet sowie Fokusgruppendiskussionen und Einzelinterviews mit Vertreter*innen auf Projektebene durchgeführt.
Begleitevaluierung des DEval Förderprogramms Rigorous Impact Evaluation (RIE)
Im Rahmen des RIE-Förderprogramms wurde ein Matchmaking zwischen Akteuren aus Wissenschaft und EZ umgesetzt, aus dem die Förderung von neun rigorose Wirkungsevaluationen (RIE) hervorging, die zwischen März 2023 und September 2025 umgesetzt werden. Bewerben konnten sich wissenschaftliche Einrichtungen in Deutschland gemeinsam mit einem durch das deutsche Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) geförderten Entwicklungsprojekt. Das Programm hat zum Ziel Barrieren zur Umsetzung von RIE abzubauen und zu einer systematischen Verankerung von RIE in der deutschen Entwicklungszusammenarbeit beizutragen.
Die CEval GmbH wurde mit der Begleitevaluierung des RIE-Förderprogramms durch das Deutsche Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) beauftragt. Die Evaluation erfolgt entlang OECD-DAC Kriterien und baut auf einem umfassenden Analyseraster auf. Es kommt ein Methodenmix zum Einsatz: Die Projektanträge und Zwischenberichte der RIE werden durch einen systematischen Review ausgewertet, der durch ein Bewertungsraster strukturiert wird. Zu zwei Erhebungszeitpunkten werden leitfadengestützte Interviews mit allen relevanten Stakeholdergruppen des Programms geführt. Darüber hinaus wird eine standardisierte Online-Befragung eingesetzt, die die sich in einer Vollerhebung an alle Wissenschaftler*innen und Vertreter*innen der Durchführungsorganisationen sowie lokale Wissenschaftler*innen richtet, die direkt in die Umsetzung der neun RIE involviert sind.
Als innovative Methode, um den Blick in die Zukunft zurichten, wird darüber hinaus eine Delphi-Befragung umgesetzt. Für die erste Delphi-Runde werden internationale Expert*innen rekrutiert und in themenfokussierten Einzelinterviews deren Einschätzungen zur künftigen Nutzung von RIE in der deutschen EZ eruiert. Die Ergebnisse werden ausgewertet und in einer zweiten Befragungsrunde den Teilnehmer*innen des Panels in Form eines Online-Surveys zurückgespielt, um konvergierende und divergierende Einschätzungen und Sichtweisen von Expert*innen herauszuarbeiten, zu gewichten und zu priorisieren.
Zentrale Projektevaluierung: Agribusiness Facilities for Africa
Das Projekt Agribusiness Facilities for Africa (ABF) dient als panafrikanische Wissens- und Beratungs-Hub für Schulungen im Bereich der Agrarwirtschaft und hat mit Partnern in rund 30 Ländern auf dem gesamten Kontinent zusammengearbeitet. Mit dem Ziel, die Wirksamkeit privater und öffentlicher Fördermaßnahmen für landwirtschaftliche Kleinst-, Klein- und mittler Betriebe (KKMU) in Afrika zu verbessern, entwickelt ABF Schulungskonzepte für Landwirte und Verarbeiter, die den spezifischen Bedürfnissen ihrer Partner entsprechen. Die Farmer Business School (FBS) vermittelt Landwirten und Produzenten Prinzipien der Landwirtschaft als Business und verspricht, die Managementfähigkeiten von KKMU für bessere und diversifizierte Einkommen und Ernährung zu stärken. Weitere von der ABF angebotene Ausbildungsmodule sind die Processor Business School (PBS), die Cooperative Business School (CBS) und die erst kürzlich entwickelte Aquaculture Business School (ABS).
Die Evaluation erfolgte nach den Vorgaben und Leitlinien für zentrale Projektevaluierungen der GIZ, die ein standardisiertes Analyseraster (Evaluationsmatrix) beinhalten, das auf den OECD-DAC Kriterien (Relevanz, Kohärenz, Effizienz, Effektivität, Impact, Nachhaltigkeit) aufbaut. Das Evaluierungsteam wendet qualitative Methoden zur Datenerhebung und -analyse an. Für die Primärdatenerhebung werden semi-strukturierte Interviews und Fokusgruppendiskussionen (FGDs) durchgeführt. Während einer dreiwöchigen Feldstudie in Uganda, Sambia und Malawi wird das Evaluierungsteam Partnerprojekte der ABF besuchen, um die Umsetzung und die Auswirkungen der FBS-, CBS- und ABS-Trainingskonzepte vor Ort zu untersuchen. Auf der Grundlage der schriftlichen Transkripte der Interviews, der FGDs und der umfangreichen Projektunterlagen wird eine qualitative Inhaltsanalyse durchgeführt. Hinsichtlich der Prüfung von Kausalzusammenhängen zwischen Projektaktivitäten und potentiellen Wirkungen wird ein kontributionsanalytischer Ansatz verfolgt.
Evaluation des Diakonie Katastrophenhilfe Indonesien-Programms 2018-2023
Das DKH-Programm für Indonesien wurde unmittelbar nach den drei großen Naturkatastrophen ins Leben gerufen, die sich 2018 in Lombok (Erdbeben), Zentralsulawesi (Erdbeben und Tsunami) und in der Sundastraße (Tsunami) ereigneten. Das Programm bestand aus acht Einzelprojekten, die von zwei indonesischen Partnerorganisationen in fünf Provinzen umgesetzt wurden und umfasste unmittelbare Nothilfemaßnahmen, Wiederaufbauhilfe und Aktivitäten zur Stärkung des Katastrophenschutzes mit Schwerpunkt auf der Inklusion von Menschen mit Behinderungen und der Priorisierung der am stärksten gefährdeten Gruppen. CEval wurde beauftragt, eine unabhängige Bewertung des Programms auf der Grundlage der OECD-DAC-Kriterien vorzunehmen.
Die Evaluation baute auf der umfassenden Beteiligung der Stakeholder sowie auf einem mixed-methods und theoriebasiertem Ansatz auf. Hierfür wurde eine umfassende Theory of Change (ToC) auf Programmebene und eine detaillierte Evaluationsmatrix entwickelt. Eine Systematic Review von Projektdokumenten wurde mit einer dreiwöchige Vor-Ort-Studie in Indonesien kombiniert. Die Systamatic Review zur Aggregation von Monitoringdaten und wirkungsrelevanten Informationen wurde auf der Basis eines standardisierten Bewertungsraster durchgeführt. Während der Vor-Ort-Studie führte das Evaluationsteam 29 Interviews und 29 Fokusgruppendiskussionen mit Programm- und Projektmitarbeitern, lokalen Behörden und Zielgruppen durch. Die Primärdaten wurden auf der Basis der qualitativen Inhaltsanalyse ausgewertet. Die Ergebnisse wurden in einem umfassenden Evaluierungsbericht dokumentiert und in mehreren Workshops vorgestellt.
Systemevaluierung des Evaluierungssystems der ‚Internationalen Zusammenarbeit‘ der Physikalisch-Technischen Bundesanstalt
Im Jahr 2021 wurde die CEval GmbH von der Physikalisch-Technischen Bundesanstalt (PTB) mit einer Systemevaluierung beauftragt. Übergeordnetes Ziel war eine strategische Weiterentwicklung des Evaluationssystems der PTB. Relevante Punkte des Analyserasters und der Evaluationsfragen waren:
1. Evaluationspolitik, Ziele, Strategien und Kriterien der Evaluation
2. Planung und Ablauf von Evaluationen, Steuerungsprozesse, Formen und Umfang der Evaluationen, Finanzressourcen, Verhältnis zum Gesamtbudget
3. Standards der Evaluation, Qualitätssicherungssystem, Wirkungsorientierung, Methodische Qualität
4. Verankerung der Evaluation in der Organisation, Unabhängigkeit der Evaluation, Glaubwürdigkeit der Evaluation
5. Personalkapazität, Qualifizierung, Gutachter, Weiterbildung, Vernetzung mit der Fachgemeinschaft
6. Nutzung von Evaluationsergebnissen (Prozesse der Nutzung, Produkte der Evaluation, Verbreitung der Ergebnisse, Wissensmanagementsystem)
Methodisch wurden hierfür verschiedene Datenquellen, wie Dokumente und Evaluationsberichte, mit einbezogen und 28 leitfadengestützte qualitative Interviews, sowie eine Gruppendiskussion durchgeführt.
Pilot EZ-Programmevaluierung Nachhaltige wirtschaftliche Entwicklung – Förderung von Jugendbeschäftigung und Beruflicher Bildung in Kenia
Zukünftig sollen Evaluierungen von Programmen in der Entwicklungszusammenarbeit (EZ) politisch steuerungsrelevante Erkenntnisse liefern, insbesondere zur Aufstellung und Abstimmung von EZ-Projekten sowie ihrem Zusammenwirken in einem Sektor oder einer Region. Zur Entwicklung eines entsprechenden Formats für EZ-Programmevaluierungen wurden im Rahmen der Pilot-Evaluierung des EZ-Programms „Nachhaltige wirtschaftliche Entwicklung – Förderung von Jugendbeschäftigung und Beruflicher Bildung in Kenia“ Erfahrungen gesammelt und anschließend systematisch aufbereitet.
Bei der Evaluierung kam ein theoriebasierter Ansatz zur Anwendung, mittels dessen Annahmen über kausale Zusammenhänge zwischen den erbrachten Leistungen, den Zielen der einzelnen Projekte sowie dem Gesamtziel des Programms empirisch überprüft wurden. Die Ergebnisse fußen dabei auf Einzel- und Gruppeninterviews mit Programm- und Projektverantwortlichen, Partnerorganisationen sowie mit Zielgruppenvertreter:innen. Weiterhin wurde die Programm- und Projektberichterstattung einer qualitativen Inhaltsanalyse unterzogen.
Entwicklungen des Fairen Handels und der Fairen Beschaffung in Deutschland 2015-2022. Aktualisierte Fassung der Studie ‚Verändert der Faire Handel die Gesellschaft?‘
Im Jahr 2015 beauftragten tragende Akteure der Fair-Handels-Bewegung in Deutschland eine Studie zu den Wirkungen des Fairen Handels in Deutschland, welche von der CEval GmbH durchgeführt wurde. Dabei wurden die Wirkungen des Fairen Handels und der zivilgesellschaftlichen Fair-Handels-Bewegung in vier gesellschaftlichen Bereichen untersucht: Zivilgesellschaft, Konsument:innen, Handel und Hersteller sowie Politik und öffentlicher Sektor. Seit 2015 hat sich nicht nur der Faire Handel selbst weiterentwickelt, sondern auch die Rahmenbedingungen, in denen er agiert. Hierzu zählen insbesondere auch die Rahmenbedingungen für eine faire öffentliche Beschaffung.
Vor diesem Hintergrund haben Fairtrade Deutschland und Engagement Global Service für Entwicklungsinitiativen gGmbH mit der Servicestelle Kommunen in der Einen Welt und in Kooperation mit dem Forum Fairer Handel und dem Weltladen-Dachverband die CEval GmbH mit der Durchführung einer aktualisierten und erweiterten Fassung der 2015er Studie beauftragt. Ziel war es, die Wirkungen des Fairen Handels in Deutschland zwischen 2016 und 2022 unter den veränderten Rahmenbedingungen zu untersuchen und dabei auch die gewachsene Rolle der Kommunen für Fairen Handel und faire Beschaffung zu berücksichtigen. Aufbauend auf den Erkenntnissen der Studie wurden Empfehlungen dafür abgeleitet, wie das Engagement im Fairen Handel und bezüglich der fairen öffentlichen Beschaffung noch wirksamer gestaltet werden kann.
In methodischer Hinsicht knüpfte die Studie an die Herangehensweise der Vorgängerstudie an und wählte einen qualitativen kontributionsanalytischen Ansatz. Ausgehend von einer sogenannten Theorie des Wandels fand eine hypothesengeleitete Untersuchung der vom Fairen Handel angestrebten Veränderungen in den jeweiligen Untersuchungsbereichen sowie eine Analyse des Beitrags der Fair-Handels-Bewegung zu diesen Veränderungen statt. Hierbei kam ein Mix qualitativer und quantitativer Erhebungs- und Auswertungsmethoden zum Einsatz. Den Ausgangspunkt bildete eine umfassende Analyse bestehende Literatur und Sekundärdaten, welche durch die Erhebung empirischer Daten mittels leitfadengestützter Expert:inneninterviews, (Fokus-)Gruppendiskussionen und einer teilstandardisierten Erhebung ergänzt wurde.
Zentrale Projektevaluierung: Sektorvorhaben Bodenschutz, Desertifikationsbekämpfung, Nachhaltiges Landmanagement
Das Sektorvorhaben Bodenschutz, Desertifikationsbekämpfung, nachhaltiges Landmanagement unterstützte das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) in seiner Rolle als Unterzeichner des Übereinkommens der Vereinten Nationen zur Bekämpfung der Wüstenbildung (UNCCD) und beriet es zu nachhaltigem Landmanagement, Bodenschutz und Klimafolgen. Darüber hinaus erprobte und implementierte das Projekt mit Partnern in Indien und Kenia Ansätze zur Nutzung von Bodenschutzmaßnahmen für den Klimaschutz. Dazu gehörten die Umsetzung eines Kohlenstoffzertifizierungssystems in Kenia und Studien zu den Klimaauswirkungen nachhaltiger Landbewirtschaftungsmethoden in Indien. Die daraus gewonnenen Erfahrungen und Erkenntnisse sollten die Verbreitung auf nationaler und internationaler Ebene aufbereitet werden.
Die Evaluation erfolgte nach den Vorgaben und Leitlinien für zentrale Projektevaluierungen der GIZ, die ein standardisiertes Analyseraster (Evaluationsmatrix) beinhalteten, das auf den OECD-DAC Kriterien (Relevanz, Kohärenz, Effizienz, Effektivität, Impact, Nachhaltigkeit) aufbaute. Während eines zehntägigen Feldaufenthaltes in Kenia führte das Evaluationsteam Interviews und Fokusgruppendiskussionen mit verschiedenen Stakeholdern des Zertifizierungssystems und den teilnehmenden Kleinbauern. Die Datenerhebung in Indien wurde remote implementiert (Online-Interviews). Hinsichtlich der Prüfung von Kausalzusammenhängen zwischen Projektaktivitäten und potenziellen Wirkungen wurde ein kontributionsanalytischer Ansatz verfolgt.
