#eSkills4Girls Initiative
Die Initiative #eSkills4Girls zielt darauf ab, die digitale Kluft zwischen den Geschlechtern zu schließen, indem der Zugang von Frauen und Mädchen zu (Weiter-)Bildungsmaßnahmen zur Verbesserung ihrer digitalen Kompetenzen gefördert wird. Die Initiative wurde 2017 vom BMZ im Rahmen der deutschen G20-Präsidentschaft ins Leben gerufen und vom Sektorvorhaben (SV) Bildung der Deutschen Gesellschaft für internationale Zusammenarbeit (GIZ) verwaltet. Seitdem hat die Initiative Partnerschaften mit dem privaten und öffentlichen Sektor aufgebaut und ist EQUALS beigetreten, der globalen Multi-Stakeholder-Partnerschaft zur Förderung der Geschlechtergleichstellung im digitalen Zeitalter.
Um die digitalen Fähigkeiten von Frauen und Mädchen zu verbessern, richtete die Initiative den #eSkills4Girls-Fonds ein, um 27 bestehenden Bildungspartnerschaften über EQUALS eine Finanzierung zukommen zu lassen. Außerdem fungierte #eSkills4Girls als Community-Manager für 9 bilaterale Projekte, die durch das BMZ finanziert wurden. Weitere Aktivitäten von #eSkills4Girls zielen darauf ab, politische Entscheidungsträger*innen für das Thema zu sensibilisieren, weibliche Vorbilder zu präsentieren sowie Austausch und Lernen zwischen den Projekten zu fördern.
Die CEval GmbH wurde mit der Durchführung einer Wirkungsevaluation von #eSkills4Girls durch die GIZ beauftragt. Ziel der Evaluation war es, ein besseres Verständnis dafür zu erlangen, inwieweit die verschiedenen Aktivitäten ihre jeweiligen Ziele erreicht haben. Auf der Grundlage der Evaluierungsfragen wurde die Initiative anhand des OECD-DAC-Kriteriums „Wirksamkeit“ bewertet. Um die fehlenden Informationen und Daten nach der anfänglichen Prüfung vorhandener Sekundärdaten zu ergänzen, wurde eine Datenerhebung mittels Onlinefragebögen für die Unterauftragnehmer des #eSkills4Girls Fund durchgeführt. Darüber hinaus wurden Projektberichte und Monitroringdaten der bilaterale Projektpartner ausgewertet sowie Fokusgruppendiskussionen und Einzelinterviews mit Vertreter*innen auf Projektebene durchgeführt.
Project Evaluation: Promotion of Adult Education Uganda
Das Institut für Internationale Zusammenarbeit des Deutschen Volkshochschul-Verbandes (DVV International) unterstützt die Regierung von Uganda bei der Umsetzung des Programms Integrated Community Learning for Wealth Creation (ICOLEW). Im Rahmen des Programms hat der DVV gemeinsam mit Regierungspartnern die Einführung von Community Learning Centres (CLC) in sechs Distrikten initiiert, die alle größeren Gebiete Ugandas abdecken. Die CLC bieten eine Reihe von Lernmöglichkeiten und Dienstleistungen für Jugendliche und Erwachsene aus den umliegenden Gemeinden zu Themen wie funktionale Alphabetisierung/Numerierung, andere Formen der nicht-formalen Lebensunterhaltssicherung/Berufsausbildung, Gesundheit und Hygiene sowie unternehmerische Fähigkeiten.
DVV International hat die CEval GmbH beauftragt, den Erfolg des CLC-Ansatzes zu evaluieren. Das Evaluierungsteam bewertet, inwieweit die Einführung von CLC erfolgreich war und seine Ziele erreicht hat. Die Evaluierung orientiert sich an den OECD-DAC-Kriterien und wird durch eine vom CEval-Team entwickelte Evaluierungsmatrix strukturiert. Während einer einwöchigen Feldmission in Uganda wird das Evaluierungsteam die CLCs besuchen, um durch Interviews und Fokusgruppendiskussionen qualitative Daten zu sammeln. Die Daten werden mittels qualitativer Inhaltsanalyse ausgewertet. Die Ergebnisse werden in einem umfassenden Evaluierungsbericht vorgestellt und diskutiert.
UNICEF Thailand: Repräsentative Studie über Kinderbetreuungsdienste
CEval unterstützt PROMAN bei der Durchführung einer nationalen Mixed-Methods-Studie, die von UNICEF Thailand in Auftrag gegeben wurde. Ziel der Studie ist das Angebot und die Nachfrage von Betreuungseinrichtungen für Kinder unter drei Jahren in Thailand über das gesamte öffentlich-private Kontinuum hinweg zu untersuchen und die Kosten der Untätigkeit zu bewerten.
CEval ist damit beauftragt, eine Stichprobenstrategie zu entwickeln und umzusetzen, die die Grundlage für eine landesweite, repräsentative Studie bildet. Die Stichprobenstrategie ermöglicht die anschließende qualitative und quantitative Datenerhebung. CEval ist auch für die Unterstützung der Instrumentenentwicklung, einschließlich der Haushalts- und Anbieterbefragungen, das Hosting der Erhebungsinstrumente, die Anleitung der lokalen Partner bei der Datenerhebung und das Datenqualitätsmanagement verantwortlich. Darüber hinaus unterstützt CEval seine(n) Kooperationspartner bei der Durchführung geeigneter deskriptiver und inferenzstatistischer Analysen.
Im Rahmen dieses Auftrags wird die Nachfrage nach Dienstleistungen prognostiziert, um eine Investitionsentscheidung für die Entwicklung einer nationalen Strategie für Kinderbetreuungsdienste für unter Dreijährige in Thailand zu treffen.
Evaluability Assessment des UNICEF-Länderprogramms für Jordanien 2023-2027
Mit der Bewertung der Evaluierbarkeit (Evaluability Assessment – EA) des UNICEF-Länderprogramms für Jordanien (JCO) sollte sichergestellt werden, dass die mittel- und langfristigen Ergebnisse der Programmziele letztlich nachgewiesen werden können. Die EA bezog sich auf das JCO-Länderprogramm 2023-2027, einschließlich der sechs Programmbereiche (Gesundheit und Ernährung, Bildung, Kinderschutz, Jugendliche und Jugend, WASH, Sozialpolitik und sozialer Schutz), der Monitoringsysteme, der Jahresplanung und der Evaluierungspläne sowie der sektorenübergreifenden Prioritäten (Gleichstellung der Geschlechter, Eingliederung von Menschen mit Behinderungen, Klimawandel, soziale Gerechtigkeit, Änderung des Sozialverhaltens (SBC) und Schutz vor sexueller Ausbeutung und Missbrauch (PSEA)).
Ziel der Bewertung der Evaluierbarkeit war es, (1) eine unabhängige Beurteilung darüber abzugeben, wie gut JCO auf die Evaluierung eines Länderprogramms oder eines strategischen Rahmens vorbereitet ist, und (2) Empfehlungen zur Verbesserung der Evaluierbarkeit des JCO Country Programme Document (CPD) abzugeben. Es sollte untersucht werden, ob die JCO geplant hat, die Hauptrisiken wirksam zu bewältigen, Mechanismen für die rechtzeitige Umsetzung der Evaluierungsempfehlungen einzurichten und ob sie über die wesentlichen Ressourcen und die Infrastruktur verfügt, die für den Nachweis der Erreichung der Ziele erforderlich sind. Die EA zielte darauf ab, die Vorbereitung der JCO auf die bevorstehende Evaluierung der CPD zu verbessern.
Bei der Bewertung der Evaluierbarkeit wurde ein theoriegestützter Ansatz verwendet, um die methodischen Voraussetzungen zu analysieren, die für die Bewertung der Effektivität, Wirksamkeit und der Nachhaltigkeit des UNICEF-Länderprogramms erforderlich sind. Zu diesen Voraussetzungen gehörten klare Definitionen der Programmergebnisse, die Verfügbarkeit von Ausgangsdaten und zeitnahe Zieldaten. Die EA zielte auch darauf ab, aussagekräftige Hypothesen aufzustellen, um die kausale Beziehung zwischen dem JCO und den beobachteten Entwicklungsergebnissen zu verstehen. Kontextfaktoren wurden als entscheidend für eine valide Analyse angesehen, wobei der Schwerpunkt auf der Identifizierung und Überwachung von Risiken und Rahmenbedingungen lag. Eine detaillierte Evaluierbarkeitsmatrix diente als Leitfaden für die systematische Analyse und die strukturierte Datenerhebung. Es wurde ein Mixed-Methods-Ansatz gewählt, bei dem primäre und sekundäre Datenquellen sowie qualitative und quantitative Methoden verwendet wurden, um Gültigkeit und Zuverlässigkeit zu gewährleisten. Die Beteiligung der Stakeholder war integraler Bestandteil der Studie und umfasste Interviews mit den Leitern der JCO-Sektionen und -Abteilungen, Konsultationen und Feedback-Schleifen, um verschiedene Perspektiven einzubeziehen.
Erarbeitung eines M&E-Konzepts für die internationale Projektarbeit des BBK
Das Referat Internationale Angelegenheiten im Bundesamt für Bevölkerungsschutz und Katastrophenhilfe (BBK) entwickelt im Rahmen des internationalen Engagements Deutschlands Projekte im Ausland. Diese basieren auf der Expertise im Zivil- und Katastrophenschutz und werden in Zusammenarbeit mit nationalen und lokalen Behörden im Ausland umgesetzt.
Das BBK hat die CEval GmbH beauftragt, es bei der Entwicklung eines bedarfsgerechten Monitoring- und Evaluierungssystems (M&E) für die internationale Projektarbeit zu unterstützen. Die Ziele des Auftrages waren: (i) die Erarbeitung eines M&E-Konzeptes für die internationale Projektarbeit des BBK unter Berücksichtigung bereits vorhandener Projektdokumente, der (politischen) Rahmenbedingungen und der strategischen Ausrichtung des BBK sowie unter Berücksichtigung der personellen Kapazitäten; (ii) die Weiterentwicklung bereits vorhandener bzw. die Entwicklung zusätzlicher Instrumente, um das wirkungsorientierte Monitoring der internationalen Projekte effizienter zu gestalten; (iii) die Vorstellung des Konzeptes und der Instrumente im Rahmen eines Workshops für die Projektmitarbeiterinnen und -mitarbeiter sowie die Projektleitungen des BBK.
Bei der Entwicklung des M&E-Systems für das Referat Internationale Angelegenheiten des BBK verfolgte die CEval GmbH einen theoriegeleiteten Ansatz, um die Grundlagen für ein wirkungsorientiertes M&E-System zu schaffen. Darüber hinaus verfolgte das Team einen partizipativen Ansatz unter enger Einbindung des Auftraggebers, um das M&E-System bestmöglich auf die Bedürfnisse des Auftraggebers auszurichten. Das Team beriet und unterstützte das BBK bei der Einführung von SMART-Indikatoren auf verschiedenen Ebenen für ein methodisch fundiertes M&E-System und führte einen M&E-Workshop für Projektmitarbeitende und Projektleitungen für die Projekte in Jordanien, der Ukraine und Tunesien durch.
Begleitevaluierung des DEval Förderprogramms Rigorous Impact Evaluation (RIE)
Im Rahmen des RIE-Förderprogramms wurde ein Matchmaking zwischen Akteuren aus Wissenschaft und EZ umgesetzt, aus dem die Förderung von neun rigorose Wirkungsevaluationen (RIE) hervorging, die zwischen März 2023 und September 2025 umgesetzt werden. Bewerben konnten sich wissenschaftliche Einrichtungen in Deutschland gemeinsam mit einem durch das deutsche Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) geförderten Entwicklungsprojekt. Das Programm hat zum Ziel Barrieren zur Umsetzung von RIE abzubauen und zu einer systematischen Verankerung von RIE in der deutschen Entwicklungszusammenarbeit beizutragen.
Die CEval GmbH wurde mit der Begleitevaluierung des RIE-Förderprogramms durch das Deutsche Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) beauftragt. Die Evaluation erfolgt entlang OECD-DAC Kriterien und baut auf einem umfassenden Analyseraster auf. Es kommt ein Methodenmix zum Einsatz: Die Projektanträge und Zwischenberichte der RIE werden durch einen systematischen Review ausgewertet, der durch ein Bewertungsraster strukturiert wird. Zu zwei Erhebungszeitpunkten werden leitfadengestützte Interviews mit allen relevanten Stakeholdergruppen des Programms geführt. Darüber hinaus wird eine standardisierte Online-Befragung eingesetzt, die die sich in einer Vollerhebung an alle Wissenschaftler*innen und Vertreter*innen der Durchführungsorganisationen sowie lokale Wissenschaftler*innen richtet, die direkt in die Umsetzung der neun RIE involviert sind.
Als innovative Methode, um den Blick in die Zukunft zurichten, wird darüber hinaus eine Delphi-Befragung umgesetzt. Für die erste Delphi-Runde werden internationale Expert*innen rekrutiert und in themenfokussierten Einzelinterviews deren Einschätzungen zur künftigen Nutzung von RIE in der deutschen EZ eruiert. Die Ergebnisse werden ausgewertet und in einer zweiten Befragungsrunde den Teilnehmer*innen des Panels in Form eines Online-Surveys zurückgespielt, um konvergierende und divergierende Einschätzungen und Sichtweisen von Expert*innen herauszuarbeiten, zu gewichten und zu priorisieren.
Zentrale Projektevaluierung: Agribusiness Facilities for Africa
Das Projekt Agribusiness Facilities for Africa (ABF) dient als panafrikanische Wissens- und Beratungs-Hub für Schulungen im Bereich der Agrarwirtschaft und hat mit Partnern in rund 30 Ländern auf dem gesamten Kontinent zusammengearbeitet. Mit dem Ziel, die Wirksamkeit privater und öffentlicher Fördermaßnahmen für landwirtschaftliche Kleinst-, Klein- und mittler Betriebe (KKMU) in Afrika zu verbessern, entwickelt ABF Schulungskonzepte für Landwirte und Verarbeiter, die den spezifischen Bedürfnissen ihrer Partner entsprechen. Die Farmer Business School (FBS) vermittelt Landwirten und Produzenten Prinzipien der Landwirtschaft als Business und verspricht, die Managementfähigkeiten von KKMU für bessere und diversifizierte Einkommen und Ernährung zu stärken. Weitere von der ABF angebotene Ausbildungsmodule sind die Processor Business School (PBS), die Cooperative Business School (CBS) und die erst kürzlich entwickelte Aquaculture Business School (ABS).
Die Evaluation erfolgte nach den Vorgaben und Leitlinien für zentrale Projektevaluierungen der GIZ, die ein standardisiertes Analyseraster (Evaluationsmatrix) beinhalten, das auf den OECD-DAC Kriterien (Relevanz, Kohärenz, Effizienz, Effektivität, Impact, Nachhaltigkeit) aufbaut. Das Evaluierungsteam wendet qualitative Methoden zur Datenerhebung und -analyse an. Für die Primärdatenerhebung werden semi-strukturierte Interviews und Fokusgruppendiskussionen (FGDs) durchgeführt. Während einer dreiwöchigen Feldstudie in Uganda, Sambia und Malawi wird das Evaluierungsteam Partnerprojekte der ABF besuchen, um die Umsetzung und die Auswirkungen der FBS-, CBS- und ABS-Trainingskonzepte vor Ort zu untersuchen. Auf der Grundlage der schriftlichen Transkripte der Interviews, der FGDs und der umfangreichen Projektunterlagen wird eine qualitative Inhaltsanalyse durchgeführt. Hinsichtlich der Prüfung von Kausalzusammenhängen zwischen Projektaktivitäten und potentiellen Wirkungen wird ein kontributionsanalytischer Ansatz verfolgt.
Evaluation des Diakonie Katastrophenhilfe Indonesien-Programms 2018-2023
Das DKH-Programm für Indonesien wurde unmittelbar nach den drei großen Naturkatastrophen ins Leben gerufen, die sich 2018 in Lombok (Erdbeben), Zentralsulawesi (Erdbeben und Tsunami) und in der Sundastraße (Tsunami) ereigneten. Das Programm bestand aus acht Einzelprojekten, die von zwei indonesischen Partnerorganisationen in fünf Provinzen umgesetzt wurden und umfasste unmittelbare Nothilfemaßnahmen, Wiederaufbauhilfe und Aktivitäten zur Stärkung des Katastrophenschutzes mit Schwerpunkt auf der Inklusion von Menschen mit Behinderungen und der Priorisierung der am stärksten gefährdeten Gruppen. CEval wurde beauftragt, eine unabhängige Bewertung des Programms auf der Grundlage der OECD-DAC-Kriterien vorzunehmen.
Die Evaluation baute auf der umfassenden Beteiligung der Stakeholder sowie auf einem mixed-methods und theoriebasiertem Ansatz auf. Hierfür wurde eine umfassende Theory of Change (ToC) auf Programmebene und eine detaillierte Evaluationsmatrix entwickelt. Eine Systematic Review von Projektdokumenten wurde mit einer dreiwöchige Vor-Ort-Studie in Indonesien kombiniert. Die Systamatic Review zur Aggregation von Monitoringdaten und wirkungsrelevanten Informationen wurde auf der Basis eines standardisierten Bewertungsraster durchgeführt. Während der Vor-Ort-Studie führte das Evaluationsteam 29 Interviews und 29 Fokusgruppendiskussionen mit Programm- und Projektmitarbeitern, lokalen Behörden und Zielgruppen durch. Die Primärdaten wurden auf der Basis der qualitativen Inhaltsanalyse ausgewertet. Die Ergebnisse wurden in einem umfassenden Evaluierungsbericht dokumentiert und in mehreren Workshops vorgestellt.
Systemevaluierung des Evaluierungssystems der ‚Internationalen Zusammenarbeit‘ der Physikalisch-Technischen Bundesanstalt
Im Jahr 2021 wurde die CEval GmbH von der Physikalisch-Technischen Bundesanstalt (PTB) mit einer Systemevaluierung beauftragt. Übergeordnetes Ziel war eine strategische Weiterentwicklung des Evaluationssystems der PTB. Relevante Punkte des Analyserasters und der Evaluationsfragen waren:
1. Evaluationspolitik, Ziele, Strategien und Kriterien der Evaluation
2. Planung und Ablauf von Evaluationen, Steuerungsprozesse, Formen und Umfang der Evaluationen, Finanzressourcen, Verhältnis zum Gesamtbudget
3. Standards der Evaluation, Qualitätssicherungssystem, Wirkungsorientierung, Methodische Qualität
4. Verankerung der Evaluation in der Organisation, Unabhängigkeit der Evaluation, Glaubwürdigkeit der Evaluation
5. Personalkapazität, Qualifizierung, Gutachter, Weiterbildung, Vernetzung mit der Fachgemeinschaft
6. Nutzung von Evaluationsergebnissen (Prozesse der Nutzung, Produkte der Evaluation, Verbreitung der Ergebnisse, Wissensmanagementsystem)
Methodisch wurden hierfür verschiedene Datenquellen, wie Dokumente und Evaluationsberichte, mit einbezogen und 28 leitfadengestützte qualitative Interviews, sowie eine Gruppendiskussion durchgeführt.
Pilot EZ-Programmevaluierung Nachhaltige wirtschaftliche Entwicklung – Förderung von Jugendbeschäftigung und Beruflicher Bildung in Kenia
Zukünftig sollen Evaluierungen von Programmen in der Entwicklungszusammenarbeit (EZ) politisch steuerungsrelevante Erkenntnisse liefern, insbesondere zur Aufstellung und Abstimmung von EZ-Projekten sowie ihrem Zusammenwirken in einem Sektor oder einer Region. Zur Entwicklung eines entsprechenden Formats für EZ-Programmevaluierungen wurden im Rahmen der Pilot-Evaluierung des EZ-Programms „Nachhaltige wirtschaftliche Entwicklung – Förderung von Jugendbeschäftigung und Beruflicher Bildung in Kenia“ Erfahrungen gesammelt und anschließend systematisch aufbereitet.
Bei der Evaluierung kam ein theoriebasierter Ansatz zur Anwendung, mittels dessen Annahmen über kausale Zusammenhänge zwischen den erbrachten Leistungen, den Zielen der einzelnen Projekte sowie dem Gesamtziel des Programms empirisch überprüft wurden. Die Ergebnisse fußen dabei auf Einzel- und Gruppeninterviews mit Programm- und Projektverantwortlichen, Partnerorganisationen sowie mit Zielgruppenvertreter:innen. Weiterhin wurde die Programm- und Projektberichterstattung einer qualitativen Inhaltsanalyse unterzogen.
