Evaluierung des Projekts EndOCSEA@Europe
Mittelgeber: Safe Online
Als Reaktion auf den alarmierenden Anstieg von Online-Kindesmissbrauch und sexueller Ausbeutung (OCSEA) hat der Europarat das Projekt EndOCSEA@Europe in zwei Phasen ins Leben gerufen, um OCSEA in den Mitgliedstaaten zu bekämpfen. Phase I (2018-2021) konzentrierte sich auf die Ausgangsbewertung von Gesetzen, Politiken und Praktiken zu OCSEA, die Stärkung der Gesetzgebung, die Verbesserung der Kapazitäten der Strafverfolgungsbehörden und die Sensibilisierung in Ländern wie Albanien, Armenien und der Ukraine. Phase II (2023-2025) legt den Schwerpunkt auf die Weiterentwicklung der Maßnahmen, insbesondere in Georgien, der Republik Moldau und Montenegro. Das Projekt fördert die Zusammenarbeit verschiedener Akteure, gesetzgeberische Reformen, Kapazitätsaufbau und Sensibilisierungskampagnen und baut auf den Empfehlungen aus Phase I auf, wobei Synergien mit anderen Initiativen des Europarats angestrebt werden. Es wird von der Abteilung für Kinderrechte des Europarats geleitet und bezieht wichtige Interessengruppen wie staatliche Behörden, Strafverfolgungsbehörden, NGOs und Fachleute, die mit Kindern arbeiten, ein.
Die Evaluierung des Projekts EndOCSEA@Europe zielt darauf ab, Effizienz, Nachhaltigkeit sowie die mittelfristige und langfristige Wirksamkeit der Maßnahmen beider Phasen zu bewerten, wobei der Schwerpunkt auf legislativen Verbesserungen, grenzüberschreitender Zusammenarbeit, Kapazitätsaufbau und Herausforderungen bei der Umsetzung liegt. Die Evaluierung folgt dabei einem nicht-experimentellen, theoriebasierten, Mixed-Methods Ansatz mit umfassender Beteiligung der Interessengruppen und untersucht dessen Auswirkungen und Skalierbarkeit auf politischer, institutioneller, gemeinschaftlicher und individueller Ebene. Die Daten werden durch Interviews, Fallstudien und Umfragen gesammelt und unter Verwendung von Triangulation zur Validierung analysiert, wobei die OECD-DAC-Kriterien und alters- sowie geschlechtersensible Methoden berücksichtigt werden.
Studie zur Doppelzählung von GIZ- Standardindikatoren auf Länderebene
Mittelgeber: Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)
In der deutschen Entwicklungszusammenarbeit arbeiten meist mehrere Vorhaben auf ein gemeinsames Ziel in einem Land, einer Region und/oder einem Sektor hin, berichten ihre Ergebnisse aber individuell und oft ohne Abgleich untereinander.
2022 hat das BMZ das Reformkonzept „BMZ 2030“ eingeführt und damit entschieden, dass die Vorhaben in der GIZ auf 44 sogenannte Standardindikatoren entlang definierter Kernthemen berichten. Damit wurde die Grundlage für eine projektübergreifende Ergebnisberichterstattung gelegt, die auch für die politische Kommunikation genutzt werden kann. Durch die mehrfache Erfassung der Daten besteht jedoch die Gefahr, dass bei der Aggregation dieser Indikatoren auf Länderebene Ergebnisse und erzielte Wirkungen überschätzt werden. Ziel der Studie war es, eine Methode zur Identifikation der Häufigkeit und Größenordnung dieser Überschneidungen zu entwickeln, diese anzuwenden und auf Grundlage der gewonnenen Erkenntnisse Empfehlungen auszuarbeiten, wie Doppelzählungen künftig vermieden werden können.
Zu diesem Zweck wurde auf Grundlage einer von der GIZ durchgeführten Online Erhebung eine quantitative „Hot-Spot“ Analyse durchgeführt, um das potenzielle Risiko von Überschneidungen zu identifizieren. Für die anschließende Validierung des tatsächlichen Vorkommens von Überschneidungen wurden empirische Daten aus Interviews mit Portfoliomanager*innen und Clusterkoordinator*innen erhoben. Auf Basis dieser Daten wurden die Größenordnung von Überschneidungen abgeschätzt und ein methodisch belastbarer Lösungsansatzes ausgearbeitet.
Evaluation der “Knauf Training Initiative Phase I und II”
Mit dem Programm develoPPP Classic unterstützt DEG Impulse Maßnahmen etablierter Unternehmen, die sich langfristig in Entwicklungs- und Schwellenländern engagieren und damit ihr wirtschaftliches Engagement nachhaltig gestalten wollen. Eines der Projekte im Rahmen von develoPPP Classic ist die „Knauf Training Initiative“ (KTI) in ihrer Phase I (2018-2023) und Phase II (2021-2026). Knauf ist einer der führenden Hersteller von Baustoffen auf Gipsbasis in Europa und darüber hinaus auf die Produktion von Dämmstoffen und Zementprodukten spezialisiert.
Hauptziel der KTI ist die Einrichtung von Schulungszentren zur Verbesserung der technischen Qualifikation und der Beschäftigungsfähigkeit von Jugendlichen, Studenten und Facharbeitern im Bereich des Trockenbaus und verwandter Produkte. In den Zentren werden sowohl praktische als auch theoretische Module angeboten, die Installateuren, Architekten/Bauingenieuren, akademischem Personal und Arbeitslosen umfassende Kenntnisse über die Anwendung von Trockenbauverfahren vermitteln. Die Initiative soll den Menschen die Möglichkeit geben, eine Weiterbildung zu absolvieren, die langfristig zu nachhaltigen beruflichen Perspektiven führen soll.
Die CEval GmbH wurde von DEG Impulse beauftragt, die KTI zu evaluieren. Die Evaluierung bewertete die Relevanz, Kohärenz, Effektivität, Effizienz, Wirkung und Nachhaltigkeit der KTI, identifizierte methodische Lessons Leanrt und Schlussfolgerungen, die sich aus den Ergebnissen ergeben und liefert evidenzbasierte, umsetzbare Empfehlungen für DEG Impulse und Knauf. Darüber hinaus integrierte die Evaluierung eine Gender-Perspektive, um die Auswirkungen der Initiative auf Gender Mainstreaming und die Stärkung der Rolle von Frauen zu untersuchen. Schließlich untersuchte die Evaluierung die Additionalität der Initiative, d.h. inwieweit durch die finanzielle Unterstützung von DEG Impulse weitere und/oder zusätzliche Wirkungen erzielt wurden.
Die Evaluierung folgte einem Mixed-Methods-Fallstudiendesign, bei dem Primärdaten mittels Einzel- und Gruppeninterviews in Deutschland und drei Zielländern (Ägypten, Algerien und Mexiko) sowie im Rahmen einer halbstandardisierten Online-Befragung von Mitarbeiter*innen von Trainingszentren in nicht besuchten Ländern erhoben wurden. Sekundärdaten, darunter Monitoring-Berichte, Schulungsmaterialien und TZ-Umfragedaten, wurden im Rahmen einer Desk-Studie ausgewertet. Das Evaluierungsteam führte Interviews mit den Mitarbeiter*innen, Interessenvertretern und Begünstigten durch, um eine angemessene Vertretung der verschiedenen Stakeholder sicherzustellen.
Die Auswertungen umfassten eine qualitative Inhaltsanalyse von Textdokumenten mittels MaxQDA sowie eine soweit möglich nach Geschlecht und Land aufgeschlüsselte deskriptive statistische Analyse der quantitativen Daten aus den Erhebungen.
#eSkills4Girls Initiative
Die Initiative #eSkills4Girls zielt darauf ab, die digitale Kluft zwischen den Geschlechtern zu schließen, indem der Zugang von Frauen und Mädchen zu (Weiter-)Bildungsmaßnahmen zur Verbesserung ihrer digitalen Kompetenzen gefördert wird. Die Initiative wurde 2017 vom BMZ im Rahmen der deutschen G20-Präsidentschaft ins Leben gerufen und vom Sektorvorhaben (SV) Bildung der Deutschen Gesellschaft für internationale Zusammenarbeit (GIZ) verwaltet. Seitdem hat die Initiative Partnerschaften mit dem privaten und öffentlichen Sektor aufgebaut und ist EQUALS beigetreten, der globalen Multi-Stakeholder-Partnerschaft zur Förderung der Geschlechtergleichstellung im digitalen Zeitalter.
Um die digitalen Fähigkeiten von Frauen und Mädchen zu verbessern, richtete die Initiative den #eSkills4Girls-Fonds ein, um 27 bestehenden Bildungspartnerschaften über EQUALS eine Finanzierung zukommen zu lassen. Außerdem fungierte #eSkills4Girls als Community-Manager für 9 bilaterale Projekte, die durch das BMZ finanziert wurden. Weitere Aktivitäten von #eSkills4Girls zielen darauf ab, politische Entscheidungsträger*innen für das Thema zu sensibilisieren, weibliche Vorbilder zu präsentieren sowie Austausch und Lernen zwischen den Projekten zu fördern.
Die CEval GmbH wurde mit der Durchführung einer Wirkungsevaluation von #eSkills4Girls durch die GIZ beauftragt. Ziel der Evaluation war es, ein besseres Verständnis dafür zu erlangen, inwieweit die verschiedenen Aktivitäten ihre jeweiligen Ziele erreicht haben. Auf der Grundlage der Evaluierungsfragen wurde die Initiative anhand des OECD-DAC-Kriteriums „Wirksamkeit“ bewertet. Um die fehlenden Informationen und Daten nach der anfänglichen Prüfung vorhandener Sekundärdaten zu ergänzen, wurde eine Datenerhebung mittels Onlinefragebögen für die Unterauftragnehmer des #eSkills4Girls Fund durchgeführt. Darüber hinaus wurden Projektberichte und Monitroringdaten der bilaterale Projektpartner ausgewertet sowie Fokusgruppendiskussionen und Einzelinterviews mit Vertreter*innen auf Projektebene durchgeführt.
Project Evaluation: Promotion of Adult Education Uganda
Das Institut für Internationale Zusammenarbeit des Deutschen Volkshochschul-Verbandes (DVV International) unterstützt die Regierung von Uganda bei der Umsetzung des Programms Integrated Community Learning for Wealth Creation (ICOLEW). Im Rahmen des Programms hat der DVV gemeinsam mit Regierungspartnern die Einführung von Community Learning Centres (CLC) in sechs Distrikten initiiert, die alle größeren Gebiete Ugandas abdecken. Die CLC bieten eine Reihe von Lernmöglichkeiten und Dienstleistungen für Jugendliche und Erwachsene aus den umliegenden Gemeinden zu Themen wie funktionale Alphabetisierung/Numerierung, andere Formen der nicht-formalen Lebensunterhaltssicherung/Berufsausbildung, Gesundheit und Hygiene sowie unternehmerische Fähigkeiten.
DVV International hat die CEval GmbH beauftragt, den Erfolg des CLC-Ansatzes zu evaluieren. Das Evaluierungsteam bewertet, inwieweit die Einführung von CLC erfolgreich war und seine Ziele erreicht hat. Die Evaluierung orientiert sich an den OECD-DAC-Kriterien und wird durch eine vom CEval-Team entwickelte Evaluierungsmatrix strukturiert. Während einer einwöchigen Feldmission in Uganda wird das Evaluierungsteam die CLCs besuchen, um durch Interviews und Fokusgruppendiskussionen qualitative Daten zu sammeln. Die Daten werden mittels qualitativer Inhaltsanalyse ausgewertet. Die Ergebnisse werden in einem umfassenden Evaluierungsbericht vorgestellt und diskutiert.
UNICEF Thailand: Repräsentative Studie über Kinderbetreuungsdienste
CEval unterstützt PROMAN bei der Durchführung einer nationalen Mixed-Methods-Studie, die von UNICEF Thailand in Auftrag gegeben wurde. Ziel der Studie ist das Angebot und die Nachfrage von Betreuungseinrichtungen für Kinder unter drei Jahren in Thailand über das gesamte öffentlich-private Kontinuum hinweg zu untersuchen und die Kosten der Untätigkeit zu bewerten.
CEval ist damit beauftragt, eine Stichprobenstrategie zu entwickeln und umzusetzen, die die Grundlage für eine landesweite, repräsentative Studie bildet. Die Stichprobenstrategie ermöglicht die anschließende qualitative und quantitative Datenerhebung. CEval ist auch für die Unterstützung der Instrumentenentwicklung, einschließlich der Haushalts- und Anbieterbefragungen, das Hosting der Erhebungsinstrumente, die Anleitung der lokalen Partner bei der Datenerhebung und das Datenqualitätsmanagement verantwortlich. Darüber hinaus unterstützt CEval seine(n) Kooperationspartner bei der Durchführung geeigneter deskriptiver und inferenzstatistischer Analysen.
Im Rahmen dieses Auftrags wird die Nachfrage nach Dienstleistungen prognostiziert, um eine Investitionsentscheidung für die Entwicklung einer nationalen Strategie für Kinderbetreuungsdienste für unter Dreijährige in Thailand zu treffen.
Evaluability Assessment des UNICEF-Länderprogramms für Jordanien 2023-2027
Mit der Bewertung der Evaluierbarkeit (Evaluability Assessment – EA) des UNICEF-Länderprogramms für Jordanien (JCO) sollte sichergestellt werden, dass die mittel- und langfristigen Ergebnisse der Programmziele letztlich nachgewiesen werden können. Die EA bezog sich auf das JCO-Länderprogramm 2023-2027, einschließlich der sechs Programmbereiche (Gesundheit und Ernährung, Bildung, Kinderschutz, Jugendliche und Jugend, WASH, Sozialpolitik und sozialer Schutz), der Monitoringsysteme, der Jahresplanung und der Evaluierungspläne sowie der sektorenübergreifenden Prioritäten (Gleichstellung der Geschlechter, Eingliederung von Menschen mit Behinderungen, Klimawandel, soziale Gerechtigkeit, Änderung des Sozialverhaltens (SBC) und Schutz vor sexueller Ausbeutung und Missbrauch (PSEA)).
Ziel der Bewertung der Evaluierbarkeit war es, (1) eine unabhängige Beurteilung darüber abzugeben, wie gut JCO auf die Evaluierung eines Länderprogramms oder eines strategischen Rahmens vorbereitet ist, und (2) Empfehlungen zur Verbesserung der Evaluierbarkeit des JCO Country Programme Document (CPD) abzugeben. Es sollte untersucht werden, ob die JCO geplant hat, die Hauptrisiken wirksam zu bewältigen, Mechanismen für die rechtzeitige Umsetzung der Evaluierungsempfehlungen einzurichten und ob sie über die wesentlichen Ressourcen und die Infrastruktur verfügt, die für den Nachweis der Erreichung der Ziele erforderlich sind. Die EA zielte darauf ab, die Vorbereitung der JCO auf die bevorstehende Evaluierung der CPD zu verbessern.
Bei der Bewertung der Evaluierbarkeit wurde ein theoriegestützter Ansatz verwendet, um die methodischen Voraussetzungen zu analysieren, die für die Bewertung der Effektivität, Wirksamkeit und der Nachhaltigkeit des UNICEF-Länderprogramms erforderlich sind. Zu diesen Voraussetzungen gehörten klare Definitionen der Programmergebnisse, die Verfügbarkeit von Ausgangsdaten und zeitnahe Zieldaten. Die EA zielte auch darauf ab, aussagekräftige Hypothesen aufzustellen, um die kausale Beziehung zwischen dem JCO und den beobachteten Entwicklungsergebnissen zu verstehen. Kontextfaktoren wurden als entscheidend für eine valide Analyse angesehen, wobei der Schwerpunkt auf der Identifizierung und Überwachung von Risiken und Rahmenbedingungen lag. Eine detaillierte Evaluierbarkeitsmatrix diente als Leitfaden für die systematische Analyse und die strukturierte Datenerhebung. Es wurde ein Mixed-Methods-Ansatz gewählt, bei dem primäre und sekundäre Datenquellen sowie qualitative und quantitative Methoden verwendet wurden, um Gültigkeit und Zuverlässigkeit zu gewährleisten. Die Beteiligung der Stakeholder war integraler Bestandteil der Studie und umfasste Interviews mit den Leitern der JCO-Sektionen und -Abteilungen, Konsultationen und Feedback-Schleifen, um verschiedene Perspektiven einzubeziehen.
Erarbeitung eines M&E-Konzepts für die internationale Projektarbeit des BBK
Das Referat Internationale Angelegenheiten im Bundesamt für Bevölkerungsschutz und Katastrophenhilfe (BBK) entwickelt im Rahmen des internationalen Engagements Deutschlands Projekte im Ausland. Diese basieren auf der Expertise im Zivil- und Katastrophenschutz und werden in Zusammenarbeit mit nationalen und lokalen Behörden im Ausland umgesetzt.
Das BBK hat die CEval GmbH beauftragt, es bei der Entwicklung eines bedarfsgerechten Monitoring- und Evaluierungssystems (M&E) für die internationale Projektarbeit zu unterstützen. Die Ziele des Auftrages waren: (i) die Erarbeitung eines M&E-Konzeptes für die internationale Projektarbeit des BBK unter Berücksichtigung bereits vorhandener Projektdokumente, der (politischen) Rahmenbedingungen und der strategischen Ausrichtung des BBK sowie unter Berücksichtigung der personellen Kapazitäten; (ii) die Weiterentwicklung bereits vorhandener bzw. die Entwicklung zusätzlicher Instrumente, um das wirkungsorientierte Monitoring der internationalen Projekte effizienter zu gestalten; (iii) die Vorstellung des Konzeptes und der Instrumente im Rahmen eines Workshops für die Projektmitarbeiterinnen und -mitarbeiter sowie die Projektleitungen des BBK.
Bei der Entwicklung des M&E-Systems für das Referat Internationale Angelegenheiten des BBK verfolgte die CEval GmbH einen theoriegeleiteten Ansatz, um die Grundlagen für ein wirkungsorientiertes M&E-System zu schaffen. Darüber hinaus verfolgte das Team einen partizipativen Ansatz unter enger Einbindung des Auftraggebers, um das M&E-System bestmöglich auf die Bedürfnisse des Auftraggebers auszurichten. Das Team beriet und unterstützte das BBK bei der Einführung von SMART-Indikatoren auf verschiedenen Ebenen für ein methodisch fundiertes M&E-System und führte einen M&E-Workshop für Projektmitarbeitende und Projektleitungen für die Projekte in Jordanien, der Ukraine und Tunesien durch.
Begleitevaluierung des DEval Förderprogramms Rigorous Impact Evaluation (RIE)
Im Rahmen des RIE-Förderprogramms wurde ein Matchmaking zwischen Akteuren aus Wissenschaft und EZ umgesetzt, aus dem die Förderung von neun rigorose Wirkungsevaluationen (RIE) hervorging, die zwischen März 2023 und September 2025 umgesetzt werden. Bewerben konnten sich wissenschaftliche Einrichtungen in Deutschland gemeinsam mit einem durch das deutsche Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) geförderten Entwicklungsprojekt. Das Programm hat zum Ziel Barrieren zur Umsetzung von RIE abzubauen und zu einer systematischen Verankerung von RIE in der deutschen Entwicklungszusammenarbeit beizutragen.
Die CEval GmbH wurde mit der Begleitevaluierung des RIE-Förderprogramms durch das Deutsche Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) beauftragt. Die Evaluation erfolgt entlang OECD-DAC Kriterien und baut auf einem umfassenden Analyseraster auf. Es kommt ein Methodenmix zum Einsatz: Die Projektanträge und Zwischenberichte der RIE werden durch einen systematischen Review ausgewertet, der durch ein Bewertungsraster strukturiert wird. Zu zwei Erhebungszeitpunkten werden leitfadengestützte Interviews mit allen relevanten Stakeholdergruppen des Programms geführt. Darüber hinaus wird eine standardisierte Online-Befragung eingesetzt, die die sich in einer Vollerhebung an alle Wissenschaftler*innen und Vertreter*innen der Durchführungsorganisationen sowie lokale Wissenschaftler*innen richtet, die direkt in die Umsetzung der neun RIE involviert sind.
Als innovative Methode, um den Blick in die Zukunft zurichten, wird darüber hinaus eine Delphi-Befragung umgesetzt. Für die erste Delphi-Runde werden internationale Expert*innen rekrutiert und in themenfokussierten Einzelinterviews deren Einschätzungen zur künftigen Nutzung von RIE in der deutschen EZ eruiert. Die Ergebnisse werden ausgewertet und in einer zweiten Befragungsrunde den Teilnehmer*innen des Panels in Form eines Online-Surveys zurückgespielt, um konvergierende und divergierende Einschätzungen und Sichtweisen von Expert*innen herauszuarbeiten, zu gewichten und zu priorisieren.
Zentrale Projektevaluierung: Agribusiness Facilities for Africa
Das Projekt Agribusiness Facilities for Africa (ABF) dient als panafrikanische Wissens- und Beratungs-Hub für Schulungen im Bereich der Agrarwirtschaft und hat mit Partnern in rund 30 Ländern auf dem gesamten Kontinent zusammengearbeitet. Mit dem Ziel, die Wirksamkeit privater und öffentlicher Fördermaßnahmen für landwirtschaftliche Kleinst-, Klein- und mittler Betriebe (KKMU) in Afrika zu verbessern, entwickelt ABF Schulungskonzepte für Landwirte und Verarbeiter, die den spezifischen Bedürfnissen ihrer Partner entsprechen. Die Farmer Business School (FBS) vermittelt Landwirten und Produzenten Prinzipien der Landwirtschaft als Business und verspricht, die Managementfähigkeiten von KKMU für bessere und diversifizierte Einkommen und Ernährung zu stärken. Weitere von der ABF angebotene Ausbildungsmodule sind die Processor Business School (PBS), die Cooperative Business School (CBS) und die erst kürzlich entwickelte Aquaculture Business School (ABS).
Die Evaluation erfolgte nach den Vorgaben und Leitlinien für zentrale Projektevaluierungen der GIZ, die ein standardisiertes Analyseraster (Evaluationsmatrix) beinhalten, das auf den OECD-DAC Kriterien (Relevanz, Kohärenz, Effizienz, Effektivität, Impact, Nachhaltigkeit) aufbaut. Das Evaluierungsteam wendet qualitative Methoden zur Datenerhebung und -analyse an. Für die Primärdatenerhebung werden semi-strukturierte Interviews und Fokusgruppendiskussionen (FGDs) durchgeführt. Während einer dreiwöchigen Feldstudie in Uganda, Sambia und Malawi wird das Evaluierungsteam Partnerprojekte der ABF besuchen, um die Umsetzung und die Auswirkungen der FBS-, CBS- und ABS-Trainingskonzepte vor Ort zu untersuchen. Auf der Grundlage der schriftlichen Transkripte der Interviews, der FGDs und der umfangreichen Projektunterlagen wird eine qualitative Inhaltsanalyse durchgeführt. Hinsichtlich der Prüfung von Kausalzusammenhängen zwischen Projektaktivitäten und potentiellen Wirkungen wird ein kontributionsanalytischer Ansatz verfolgt.
