Zentrale Projektevaluierung: Implementierung des Emissionsminderungsprogramms der Demokratischen Volksrepublik Laos durch verbesserte Regierungsführung und nachhaltige Bewirtschaftung von Wäldern
Das Projekt „Implementierung des Emissionsminderungsprogramms der Demokratischen Volksrepublik Laos durch verbesserte Regierungsführung und nachhaltige Bewirtschaftung von Wäldern“ unterstützt die laotische Regierung bei ihrer Vorbereitung auf den REDD+-Prozess auf nationaler und subnationaler Ebene. Das Projekt wird vom Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) mit Kofinanzierungsbeiträgen des Green Climate Fund (GCF) finanziert. Aufgrund seiner Komplexität und Geberstruktur ist das Projekt in zwei Teilprojekte unterteilt: Projekt 1 GCF FP117 (Mai 2020 bis Mai 2025) und Projekt 2 GCF FP200 (März 2023 bis März 2027). Das Projekt wird in sechs Provinzen im Norden von Laos implementiert: Houaphan, Luang Prabang, Sayaboury, Bokeo, Luang Namtha und Oudomxay.
CEval wird eine abschließende Bewertung für das Teilprojekt FP117 und eine Mid-Term Review für das Teilprojekt FP200 durchführen und einen Inception Bericht sowie zwei separate Evaluierungsberichte erstellen. Die Evaluierung basiert auf einem theoriegestützten Ansatz und wendet die OECD-DAC-Kriterien an. Das Evaluierungsteam wird eine dreiwöchige Evaluierungsmission vor Ort in Laos durchführen, um durch Interviews und Fokusgruppendiskussionen mit den wichtigsten Akteuren Daten zu sammeln. Die Datenanalyse wird auf der Grundlage einer qualitativen Inhaltsanalyse durchgeführt. Zur Bewertung der Kausalitäten wird der Ansatz der Kontributionsanalyse angewandt. Eine Effizienzanalyse wird auf der Grundlage des „Follow-the-money“-Ansatzes und des Effizienz-Tools der GIZ durchgeführt.
Zentrale Projektevaluierung: Reduce, Reuse Recycle zum Schutz der Meere und Korallenriffe
Das Projekt „Reduce, Reuse, Recycle to Protect the Marine Environment and Coral Reefs“ (3RproMar) zielt darauf ab, die ASEAN-Mitgliedsstaaten (AMS) bei der Verbesserung der Umsetzungskapazitäten zur Verringerung des Eintrags von Plastikmüll in das Meer. Das Projekt wird durch das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) finanziert und ist mit einem Gesamtbudget von 16.000.000 EUR ausgestattet. Die Umsetzung des Projekts findet in den Jahren von 2019 bis 2025 in den vier Ländern Indonesien, Kambodscha, Vietnam und den Philippinen statt, wobei der geographische Schwerpunkt auf dem Mekong-Fluss-System und den Inselstaaten liegt.
CEval ist beauftragt, eine theoriegeleitete und partizipative Abschlussevaluierung durchzuführen. Die Evaluierung ist an den OECD-DAC-Kriterien ausgerichtet und folgt den Standards für Zentrale Projektevaluierungen der GIZ. Zur Erhebung von Primärdaten wird das Evaluierungsteam eine dreiwöchige Evaluierungsmission in zwei Durchführungsländern (Indonesien und Kambodscha) implementieren, um Interviews und Fokusgruppendiskussionen mit wichtigen Akteuren zu führen. Die Analyse der Primär- und Sekundärdaten erfolgt mittels einer qualitativen Inhaltsanalyse. Die Kausalität zwischen Outputs, Outcomes und Impacts wird anhand einer Kontributionsanalyse bewertet. Im Rahmen der Effizienzanalyse findet der „Follow-the-money“-Ansatz Anwendung, der durch das Efficiency-Tool der GIZ umgesetzt wird. Der abschließende Evaluierungsbericht wird Lessons-Learned und Empfehlungen für die Umsetzung eines Folgevorhabens liefern.
Zentrale Projektevaluierung: Globalvorhaben Nachhaltige Fischerei und Aquakultur
Das Globalvorhaben „Nachhaltige Fischerei und Aquakultur“ ist Bestandteil der BMZ-Sonderinitiative „Transformation der Agrar- und Ernährungssysteme“. Das Gesamtbudget des Vorhabens beläuft sich auf 76.198.455 Euro, wobei die Laufzeit vom 01.10.2016 bis zum 31.10.2025 vorgesehen ist. Die Umsetzung des Vorhabens erfolgt in den Ländern Uganda, Mauretanien, Malawi, Madagaskar, Sambia, Kambodscha und Indien. In den Ländern Uganda und Mauretanien liegt der Fokus der Maßnahmen auf dem nachhaltigen Fischereimanagement im Viktoria- und Kyogasee in Uganda sowie entlang der Küstenlinie in Mauretanien. Die Interventionen in Malawi, Madagaskar und Indien fokussieren sich auf die Förderung der nachhaltigen Aquakultur. Die Maßnahmen in Sambia und Kambodscha umfassen Komponenten zur Aquakulturproduktion in Teichen und zum nachhaltigen Fischereimanagement in Staudämmen (Sambia) und kommunalen Fischauffangstationen (Kambodscha). Das Programm verfolgt einen Mehrebenenansatz und arbeitet mit Erzeugern, lokalen Organisationen (Ausbildungs- und Forschungseinrichtungen), Verbänden, Erzeugergemeinschaften und politischen Partnern zusammen.
Im Jahr 2024 wurden sieben Evaluative Studien (EVAS) in Auftrag gegeben, um den Erfolg der einzelnen Länderpakete anhand der OECD-DAC-Kriterien zu bewerten. Die zentrale Projektevaluierung wird die Ergebnisse dieser Studien auf Programmebene konsolidieren und bewerten. Um die Ergebnisse der EVAS-Studien zu verifizieren und zu ergänzen, wird das Evaluierungsteam eine Remote-Evaluierungsmission durchführen, bei der Online-Interviews mit relevanten Interessengruppen geführt werden. Für die Durchsicht der EVAS-Dokumente sowie für die Analyse der gesammelten Primärdaten wird eine qualitative Inhaltsanalyse durchgeführt. Um kausale Beziehungen zwischen den Programminterventionen und den angestrebten Zielen zu untersuchen, wird das Team eine Kontributionsanalyse durchführen. Zusätzlich wird eine Effizienzanalyse nach dem „Follow-the-money“-Ansatz unter Einsatz des Effizienztool der GIZ durchgeführt.
Mid-term Evaluation: Empowering the Hearing Healthcare Sector in Developing and Emerging Countries
In Reaktion auf bestehende Versorgungslücken in der Hörmedizin startete das österreichische Medizintechnikunternehmen MED-EL im Februar 2022 die Intervention Hearing Healthcare Alliance (HHA), das von der Austrian Development Agency (ADA) kofinanziert wird. Das Hauptziel der Intervention ist die Verbesserung der Diagnose und Rehabilitation von Menschen mit Hörbeeinträchtigungen durch die Schaffung nachhaltiger lokaler Strukturen im Bereich der Hörgesundheit in 13 Entwicklungsländern, darunter neun in Sub-Sahara-Afrika und vier in Südasien. Die Intervention soll im Januar 2026 abgeschlossen werden; weitere Interventionsphasen sollen folgen. CEval wurde von MED-EL beauftragt, eine Zwischenevaluierung der zentralen Komponente „Frühdiagnose für Menschen mit Hörbeeinträchtigungen“ durchzuführen. Die Evaluierung konzentriert sich auf die beiden Projektländer Benin und Nepal und zielt darauf ab, wichtige Erkenntnisse aus der bisherigen Umsetzung zu gewinnen, um die evaluierte Komponente in späteren Umsetzungsphasen zu stärken und zu erweitern.
Die Evaluierung ist theoriebasiert angelegt und stützt sich auf eine umfassende Stakeholder-Beteiligung sowie auf einen Mixed-Methods-Ansatz. Primärdaten werden vor Ort in den beiden Schwerpunktländern erhoben. Die Evaluierung wird entlang der sechs OECD/DAC-Kriterien und in Übereinstimmung mit den ADA-Leitlinien für Programm- und Projektevaluierung durchgeführt.
Evaluierung des Projekts EndOCSEA@Europe
Mittelgeber: Safe Online
Als Reaktion auf den alarmierenden Anstieg von Online-Kindesmissbrauch und sexueller Ausbeutung (OCSEA) hat der Europarat das Projekt EndOCSEA@Europe in zwei Phasen ins Leben gerufen, um OCSEA in den Mitgliedstaaten zu bekämpfen. Phase I (2018-2021) konzentrierte sich auf die Ausgangsbewertung von Gesetzen, Politiken und Praktiken zu OCSEA, die Stärkung der Gesetzgebung, die Verbesserung der Kapazitäten der Strafverfolgungsbehörden und die Sensibilisierung in Ländern wie Albanien, Armenien und der Ukraine. Phase II (2023-2025) legt den Schwerpunkt auf die Weiterentwicklung der Maßnahmen, insbesondere in Georgien, der Republik Moldau und Montenegro. Das Projekt fördert die Zusammenarbeit verschiedener Akteure, gesetzgeberische Reformen, Kapazitätsaufbau und Sensibilisierungskampagnen und baut auf den Empfehlungen aus Phase I auf, wobei Synergien mit anderen Initiativen des Europarats angestrebt werden. Es wird von der Abteilung für Kinderrechte des Europarats geleitet und bezieht wichtige Interessengruppen wie staatliche Behörden, Strafverfolgungsbehörden, NGOs und Fachleute, die mit Kindern arbeiten, ein.
Die Evaluierung des Projekts EndOCSEA@Europe zielt darauf ab, Effizienz, Nachhaltigkeit sowie die mittelfristige und langfristige Wirksamkeit der Maßnahmen beider Phasen zu bewerten, wobei der Schwerpunkt auf legislativen Verbesserungen, grenzüberschreitender Zusammenarbeit, Kapazitätsaufbau und Herausforderungen bei der Umsetzung liegt. Die Evaluierung folgt dabei einem nicht-experimentellen, theoriebasierten, Mixed-Methods Ansatz mit umfassender Beteiligung der Interessengruppen und untersucht dessen Auswirkungen und Skalierbarkeit auf politischer, institutioneller, gemeinschaftlicher und individueller Ebene. Die Daten werden durch Interviews, Fallstudien und Umfragen gesammelt und unter Verwendung von Triangulation zur Validierung analysiert, wobei die OECD-DAC-Kriterien und alters- sowie geschlechtersensible Methoden berücksichtigt werden.
Studie zur Doppelzählung von GIZ- Standardindikatoren auf Länderebene
Mittelgeber: Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)
In der deutschen Entwicklungszusammenarbeit arbeiten meist mehrere Vorhaben auf ein gemeinsames Ziel in einem Land, einer Region und/oder einem Sektor hin, berichten ihre Ergebnisse aber individuell und oft ohne Abgleich untereinander.
2022 hat das BMZ das Reformkonzept „BMZ 2030“ eingeführt und damit entschieden, dass die Vorhaben in der GIZ auf 44 sogenannte Standardindikatoren entlang definierter Kernthemen berichten. Damit wurde die Grundlage für eine projektübergreifende Ergebnisberichterstattung gelegt, die auch für die politische Kommunikation genutzt werden kann. Durch die mehrfache Erfassung der Daten besteht jedoch die Gefahr, dass bei der Aggregation dieser Indikatoren auf Länderebene Ergebnisse und erzielte Wirkungen überschätzt werden. Ziel der Studie war es, eine Methode zur Identifikation der Häufigkeit und Größenordnung dieser Überschneidungen zu entwickeln, diese anzuwenden und auf Grundlage der gewonnenen Erkenntnisse Empfehlungen auszuarbeiten, wie Doppelzählungen künftig vermieden werden können.
Zu diesem Zweck wurde auf Grundlage einer von der GIZ durchgeführten Online Erhebung eine quantitative „Hot-Spot“ Analyse durchgeführt, um das potenzielle Risiko von Überschneidungen zu identifizieren. Für die anschließende Validierung des tatsächlichen Vorkommens von Überschneidungen wurden empirische Daten aus Interviews mit Portfoliomanager*innen und Clusterkoordinator*innen erhoben. Auf Basis dieser Daten wurden die Größenordnung von Überschneidungen abgeschätzt und ein methodisch belastbarer Lösungsansatzes ausgearbeitet.
Evaluation der “Knauf Training Initiative Phase I und II”
Mit dem Programm develoPPP Classic unterstützt DEG Impulse Maßnahmen etablierter Unternehmen, die sich langfristig in Entwicklungs- und Schwellenländern engagieren und damit ihr wirtschaftliches Engagement nachhaltig gestalten wollen. Eines der Projekte im Rahmen von develoPPP Classic ist die „Knauf Training Initiative“ (KTI) in ihrer Phase I (2018-2023) und Phase II (2021-2026). Knauf ist einer der führenden Hersteller von Baustoffen auf Gipsbasis in Europa und darüber hinaus auf die Produktion von Dämmstoffen und Zementprodukten spezialisiert.
Hauptziel der KTI ist die Einrichtung von Schulungszentren zur Verbesserung der technischen Qualifikation und der Beschäftigungsfähigkeit von Jugendlichen, Studenten und Facharbeitern im Bereich des Trockenbaus und verwandter Produkte. In den Zentren werden sowohl praktische als auch theoretische Module angeboten, die Installateuren, Architekten/Bauingenieuren, akademischem Personal und Arbeitslosen umfassende Kenntnisse über die Anwendung von Trockenbauverfahren vermitteln. Die Initiative soll den Menschen die Möglichkeit geben, eine Weiterbildung zu absolvieren, die langfristig zu nachhaltigen beruflichen Perspektiven führen soll.
Die CEval GmbH wurde von DEG Impulse beauftragt, die KTI zu evaluieren. Die Evaluierung bewertete die Relevanz, Kohärenz, Effektivität, Effizienz, Wirkung und Nachhaltigkeit der KTI, identifizierte methodische Lessons Leanrt und Schlussfolgerungen, die sich aus den Ergebnissen ergeben und liefert evidenzbasierte, umsetzbare Empfehlungen für DEG Impulse und Knauf. Darüber hinaus integrierte die Evaluierung eine Gender-Perspektive, um die Auswirkungen der Initiative auf Gender Mainstreaming und die Stärkung der Rolle von Frauen zu untersuchen. Schließlich untersuchte die Evaluierung die Additionalität der Initiative, d.h. inwieweit durch die finanzielle Unterstützung von DEG Impulse weitere und/oder zusätzliche Wirkungen erzielt wurden.
Die Evaluierung folgte einem Mixed-Methods-Fallstudiendesign, bei dem Primärdaten mittels Einzel- und Gruppeninterviews in Deutschland und drei Zielländern (Ägypten, Algerien und Mexiko) sowie im Rahmen einer halbstandardisierten Online-Befragung von Mitarbeiter*innen von Trainingszentren in nicht besuchten Ländern erhoben wurden. Sekundärdaten, darunter Monitoring-Berichte, Schulungsmaterialien und TZ-Umfragedaten, wurden im Rahmen einer Desk-Studie ausgewertet. Das Evaluierungsteam führte Interviews mit den Mitarbeiter*innen, Interessenvertretern und Begünstigten durch, um eine angemessene Vertretung der verschiedenen Stakeholder sicherzustellen.
Die Auswertungen umfassten eine qualitative Inhaltsanalyse von Textdokumenten mittels MaxQDA sowie eine soweit möglich nach Geschlecht und Land aufgeschlüsselte deskriptive statistische Analyse der quantitativen Daten aus den Erhebungen.
#eSkills4Girls Initiative
Die Initiative #eSkills4Girls zielt darauf ab, die digitale Kluft zwischen den Geschlechtern zu schließen, indem der Zugang von Frauen und Mädchen zu (Weiter-)Bildungsmaßnahmen zur Verbesserung ihrer digitalen Kompetenzen gefördert wird. Die Initiative wurde 2017 vom BMZ im Rahmen der deutschen G20-Präsidentschaft ins Leben gerufen und vom Sektorvorhaben (SV) Bildung der Deutschen Gesellschaft für internationale Zusammenarbeit (GIZ) verwaltet. Seitdem hat die Initiative Partnerschaften mit dem privaten und öffentlichen Sektor aufgebaut und ist EQUALS beigetreten, der globalen Multi-Stakeholder-Partnerschaft zur Förderung der Geschlechtergleichstellung im digitalen Zeitalter.
Um die digitalen Fähigkeiten von Frauen und Mädchen zu verbessern, richtete die Initiative den #eSkills4Girls-Fonds ein, um 27 bestehenden Bildungspartnerschaften über EQUALS eine Finanzierung zukommen zu lassen. Außerdem fungierte #eSkills4Girls als Community-Manager für 9 bilaterale Projekte, die durch das BMZ finanziert wurden. Weitere Aktivitäten von #eSkills4Girls zielen darauf ab, politische Entscheidungsträger*innen für das Thema zu sensibilisieren, weibliche Vorbilder zu präsentieren sowie Austausch und Lernen zwischen den Projekten zu fördern.
Die CEval GmbH wurde mit der Durchführung einer Wirkungsevaluation von #eSkills4Girls durch die GIZ beauftragt. Ziel der Evaluation war es, ein besseres Verständnis dafür zu erlangen, inwieweit die verschiedenen Aktivitäten ihre jeweiligen Ziele erreicht haben. Auf der Grundlage der Evaluierungsfragen wurde die Initiative anhand des OECD-DAC-Kriteriums „Wirksamkeit“ bewertet. Um die fehlenden Informationen und Daten nach der anfänglichen Prüfung vorhandener Sekundärdaten zu ergänzen, wurde eine Datenerhebung mittels Onlinefragebögen für die Unterauftragnehmer des #eSkills4Girls Fund durchgeführt. Darüber hinaus wurden Projektberichte und Monitroringdaten der bilaterale Projektpartner ausgewertet sowie Fokusgruppendiskussionen und Einzelinterviews mit Vertreter*innen auf Projektebene durchgeführt.
Project Evaluation: Promotion of Adult Education Uganda
Das Institut für Internationale Zusammenarbeit des Deutschen Volkshochschul-Verbandes (DVV International) unterstützt die Regierung von Uganda bei der Umsetzung des Programms Integrated Community Learning for Wealth Creation (ICOLEW). Im Rahmen des Programms hat der DVV gemeinsam mit Regierungspartnern die Einführung von Community Learning Centres (CLC) in sechs Distrikten initiiert, die alle größeren Gebiete Ugandas abdecken. Die CLC bieten eine Reihe von Lernmöglichkeiten und Dienstleistungen für Jugendliche und Erwachsene aus den umliegenden Gemeinden zu Themen wie funktionale Alphabetisierung/Numerierung, andere Formen der nicht-formalen Lebensunterhaltssicherung/Berufsausbildung, Gesundheit und Hygiene sowie unternehmerische Fähigkeiten.
DVV International hat die CEval GmbH beauftragt, den Erfolg des CLC-Ansatzes zu evaluieren. Das Evaluierungsteam bewertet, inwieweit die Einführung von CLC erfolgreich war und seine Ziele erreicht hat. Die Evaluierung orientiert sich an den OECD-DAC-Kriterien und wird durch eine vom CEval-Team entwickelte Evaluierungsmatrix strukturiert. Während einer einwöchigen Feldmission in Uganda wird das Evaluierungsteam die CLCs besuchen, um durch Interviews und Fokusgruppendiskussionen qualitative Daten zu sammeln. Die Daten werden mittels qualitativer Inhaltsanalyse ausgewertet. Die Ergebnisse werden in einem umfassenden Evaluierungsbericht vorgestellt und diskutiert.
UNICEF Thailand: Repräsentative Studie über Kinderbetreuungsdienste
CEval unterstützt PROMAN bei der Durchführung einer nationalen Mixed-Methods-Studie, die von UNICEF Thailand in Auftrag gegeben wurde. Ziel der Studie ist das Angebot und die Nachfrage von Betreuungseinrichtungen für Kinder unter drei Jahren in Thailand über das gesamte öffentlich-private Kontinuum hinweg zu untersuchen und die Kosten der Untätigkeit zu bewerten.
CEval ist damit beauftragt, eine Stichprobenstrategie zu entwickeln und umzusetzen, die die Grundlage für eine landesweite, repräsentative Studie bildet. Die Stichprobenstrategie ermöglicht die anschließende qualitative und quantitative Datenerhebung. CEval ist auch für die Unterstützung der Instrumentenentwicklung, einschließlich der Haushalts- und Anbieterbefragungen, das Hosting der Erhebungsinstrumente, die Anleitung der lokalen Partner bei der Datenerhebung und das Datenqualitätsmanagement verantwortlich. Darüber hinaus unterstützt CEval seine(n) Kooperationspartner bei der Durchführung geeigneter deskriptiver und inferenzstatistischer Analysen.
Im Rahmen dieses Auftrags wird die Nachfrage nach Dienstleistungen prognostiziert, um eine Investitionsentscheidung für die Entwicklung einer nationalen Strategie für Kinderbetreuungsdienste für unter Dreijährige in Thailand zu treffen.
