Wissenschaftliche Beratung der Stabsstelle Evaluierung der GIZ zur Entwicklung aggregierter Wirkungsindikatoren
Die Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH trägt auf vielfältige Weise zur Lösung regionaler und globaler Probleme bei. Dazu gehören u.a. die Eindämmung der Folgen des Klimawandels, die Bekämpfung von Armut und Hunger oder die Schaffung eines gleichberechtigten Zugangs zu Bildung und Beschäftigung von Männern und Frauen. Für die Erfassung der durch ihre Vorhaben erbrachten Beiträge verfügt die GIZ über eine Reihe von Instrumenten und Verfahren zur Wirkungsmessung und -bewertung. Diese Instrumente und Verfahren sind jedoch im Wesentlichen auf die Berichterstattung an das BMZ ausgerichtet sowie darauf, Erkenntnisse zur Verbesserung einzelner Interventionen (PEVs) oder zur Weiterentwicklung der strategischen Ausrichtung der GIZ im jeweiligen Sektor (USEs) zu generieren. Auf der Ebene der Gesamtorganisation fehlte es jedoch an vergleichbaren Ansätzen zur Darstellung der Beiträge der GIZ insgesamt, bspw. gegenüber der Öffentlichkeit oder dem Parlament (insb. AWZ).
Um die GIZ auch auf dieser Ebene auskunftsfähig zu machen, initiierte die Stabsstelle Monitoring und Evaluierung 2014 einen Prozess zur Entwicklung von aggregierten Indikatoren, die Aussagen über den gemeinsamen Beitrag eines möglichst großen Teils der Vorhaben in den verschiedenen Sektoren, in denen die GIZ aktiv ist, erlauben.
Zentrale Projektevaluation des Projektes Competitive African Cashew Value Chains for Pro-Poor Growth
Die Cashew-Wertschöpfungskette bietet den afrikanischen Erzeugerländern interessante Möglichkeiten, Arbeitsplätze zu schaffen, betriebliche und volkswirtschaftliche Einkommen zu steigern und die Ernährungssicherung zu verbessern. Bis zum Zeitpunkt der Evaluation wurden die Potentiale jedoch kaum genutzt. So lagen die Erträge der afrikanischen Produzenten/innen mit 300 bis 550 Kilogramm Rohnüsse pro Hektar weit hinter den Erträgen in Indien und Vietnam und die Verarbeitungskapazitäten und die Arbeitsproduktivität der Betriebe waren noch zu gering, wodurch nur ein geringer Teil der Rohnüsse in den afrikanischen Herstellerländern verarbeitet wurde. Das Projekt „Competitive African Cashew Value Chains for Pro-Poor Growth“ der Deutschen Gesellschaft für internationale Zusammenarbeit GmbH unterstützte den Ausbau und die Intensivierung der Cashew Wertschöpfungskette in den sechs Ländern Ländern Benin, Burkina Faso, Côte dIvoire, Ghana und Mosambik und Sierra Leone.
Das Projekt setzte dabei auf vier Handlungsebenen an: (i) die bessere Versorgung mit leistungsfähigem Pflanzgut durch Forschung und Vermehrung und Fortbildung der Produzenten/innen durch Training und Beratung, (ii) die Beratung von Verarbeitern von Cashew-Rohnüssen und Nebenprodukten zur Verbesserung der Prozesseffizienz, (iii) die Intensivierung von Geschäftsverbindungen und Austausch zwischen allen Beteiligten der Wertschöpfungskette und (iv) die Förderung der nationalen und regionalen Rahmenbedingungen durch Beratung der Fachministerien und Intensivierung des regionalen Austauschs zwischen allen Akteuren.
Die CEval GmbH war von der GIZ mit der zentralen Projektevaluation beauftragt worden. Die Evaluation wurde an den OECD DAC Kriterien ausgerichtet und somit die Relevanz, Effektivität, Effizienz, Wirkung, Nachhaltigkeit und Kohärenz der Projektumsetzung prüfen. Methodisch baute die Evaluation auf den verfügbaren quantitativen Sekundärdaten des Projektes auf und erweiterte diese durch die Erhebung von Leitfadeninterviews und Fokusgruppendiskussionen mit Projektverantwortliche, Stakeholdern und der Zielgruppevertreter:innen. Aufgrund der zur Zeit der Evaluation vorherrschenden Corona-Pandemie wurde das Vorhaben als Remote-Evaluation umgesetzt. Die Evaluatoren der CEval GmbH arbeiteten mit lokalen Consultants in den Ländern Afrikas zusammen, welche die Datenerhebung im Feld durchführten.
Evaluation eines Capacity Development Projekts zur Verbesserung von Kinderschutzsystemen in Äthiopien und Indien
Weltweit sind Kinder in ihrem täglichen Leben zahlreichen Risikofaktoren ausgesetzt. In Anbetracht der Komplexität der Ursachen dafür, haben sich funktionierende Kinderschutzsysteme als wirksam erwiesen um Risiken entgegenzuwirken und Gewalt, Ausbeutung und Missbrauch zu verhindern. Kindernothilfe e.V. initiierte 2014 gemeinsam mit der Karl Kübel Stiftung, dem Child Fund und terre des hommes das Projekt „Entwicklung und Umsetzung institutioneller Kinderschutzpolitiken sowie Vernetzung mit lokalen Kinderschutzsystemen durch mindestens 240 Organisationen in neun Ländern Asiens und Afrikas“.
Da das Projekt im Dezember 2018 endete, war das Centrum für Evaluation von der Kindernothilfe im August 2018 mit der Durchführung einer Evaluation beauftragt worden. Ziel dieser war es, die Wirkungen des Projekts zu identifizieren und Erkenntnisse und Empfehlungen für zukünftige Interventionen auszusprechen. Ein wesentlicher Teil dabei war es, die Theory of Change (ToC) des Projekts rückwirkend zu entwickeln, wobei die Partizipation von Konsortialpartnern, nationalen Trainern sowie der Zielgruppe und Begünstigten hierfür eine große Rolle spielt. Im Oktober 2018 fanden Feldbesuche in Äthiopien und Südindien statt, um insgesamt sechs Partnerorganisationen zu besuchen und Interviews und Fokusgruppengespräche zu führen. Kinder wurden in die Evaluation miteingeschlossen, wofür kindgerechte, partizipative Forschungsmethoden, wie Picture Talk und Smiley-face-Skalen angewandt wurden. Am Ende jedes Feldbesuchs fand ein eintägiger Workshop statt, zu dem alle am Projekt teilgenommenen Organisationen der jeweiligen Region eingeladen worden waren. Während des Workshops wurden vorläufige Ergebnisse sowie die ToC vorgestellt, diskutiert und validiert. Schließlich wurden die verschiedenen Daten analysiert, trianguliert und die Ergebnisse den Konsortialpartnern vorgestellt.
International Program for Development Evaluation Training (IPDET)
Das International Program for Development Evaluation Training (IPDET) ist eines der führenden Trainingsprogramme im Bereich der Evaluierung von Entwicklungszusammenarbeit. Zwischen 2018 und 2024 würde es gemeinsam vom Zentrum für Weiterbildung an der Universität Bern (Schweiz), dem Centrum für Evaluation an der Universität des Saarlandes (Deutschland) und der Independent Evaluation Group der Weltbank durchgeführt. Seit 2021 ist IPDET ein wichtiger Implementierungspartner der Global Evaluation Initiative (GEI) der Weltbank.
Ziel von IPDET ist es Praktizierenden im Bereich der Evaluierung die notwendigen Fertigkeiten zu vermitteln, um Richtlinien, Programme und Projekte auf lokaler, nationaler, regionaler und globaler Ebene zu evaluieren, sowie Führungskräften die nötigen Kenntnisse, um Evaluierungen zu beauftragen und Evaluierungsergebnisse für Entscheidungsprozesse zu nutzen. Weitere Infos zu IPDET finden Sie auf der Website: https://ipdet.org/.
Entwicklung eines M&E-Konzepts, M&E-Unterstützung sowie Entwicklung von Lern- und Austauschformaten für die Initiative „Verbesserte Lebensperspektiven für Jugendliche im ländlichen Ostafrika“
Das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ), die Deutsche Stiftung Weltbevölkerung, die Siemens Stiftung und die Hanns R. Neumann Stiftung wollen gemeinsam die Perspektiven von Jugendlichen in ländlichen Gebieten Ostafrikas verbessern. Im Rahmen der Initiative „Verbesserte Lebensperspektiven für Jugendliche im ländlichen Ostafrika“ befähigen die Partner hierfür Jugendliche, Entwicklungsprozesse aktiv zu gestalten und sich in relevanten politischen Prozessen Gehör zu verschaffen. Außerdem sollen die Lebensgrundlagen der Jugendlichen durch die Erhöhung ihres Einkommens und die Verbesserung ihrer Gesundheitsversorgung verbessert werden. Damit soll auch ein Beitrag zur Bekämpfung der Ursachen von Migration geleistet werden. Die Initiative wird von drei lokalen Implementierungspartnern in Uganda umgesetzt, nämlich Action for Health Uganda, Hanns R. Neumann Stiftung Africa Ltd. und WHAVE Solutions.
Die Tätigkeit der CEval GmbH umfasste drei Bereiche: die Entwicklung eines M&E-Konzepts für das Programm, die Unterstützung des Monitorings und der Evaluation des Programms durch die Durchführung von drei Untersuchungen (Baseline, Midterm und Final) und die Unterstützung des Lernens und Austauschs in der Pilotphase des Programms. Zur Erreichung dieser Ziele wurde ein partizipativer Ansatz verfolgt, wobei auf eine starke Einbeziehung der verschiedenen Stakeholdergruppen, von der Planungsphase über die Datenerhebung bis hin zur Interpretation der Ergebnisse, geachtet wurde. Für eine ganzheitliche Bewertung der Wirksamkeit und Nachhaltigkeit der Initiative sowie zur Validierung ihrer Interventionslogik verfolgte die Evaluation einen Multimethoden-Ansatz, basierend auf einem quantitativen quasi-experimentellen und einem qualitativen Fallstudiendesign. Während das quasi-experimentelle Design auf der Erhebung von Ziel- und Vergleichsgruppendaten von insgesamt ca. 1.000 Personen beruhte, umfasste das Fallstudienkonzept Interviews und Fokusgruppendiskussionen mit Schlüsselpersonen aus den Gruppen der Implementierungspartner, Zielgruppen, örtlichen Behörden und Branchenexperten.
Querschnittsauswertung: Evidenzen aus Zentralen Projektevaluierungen im Bereich der Übergangshilfe
Als Brücke zwischen humanitärer Hilfe und längerfristiger Entwicklungszusammenarbeit kommt der Überganghilfe, insbesondere vor dem Hintergrund weltweit zunehmender Konflikte, verstärkt Bedeutung zu.
Die Stabstelle Evaluierung der Deutschen Gesellschaft für internationale Zusammenarbeit GmbH (GIZ) hatte infolgedessen die CEval GmbH beauftragt, eine Evaluationssynthese von Vorhaben der Überganghilfe, welche im Zeitraum von Januar 2013 bis April 2021 durchgeführt worden waren, vorzunehmen.
Gegenstand dieser Evaluierungssynthese waren neun zentrale Projektevaluierungen (ZPE) von Übergangshilfe-Projekten und eine ZPE eines regionalen EU-kofinanzierten Projekts mit ähnlichen thematischen Prioritäten, die in vier Ländern durchgeführt worden waren. Die Evaluierung umfasst somit diverse Länder und Regionen: Südsudan, Somalia, Haiti, Ukraine, Irak, Türkei, Libanon und Jordanien. Zusätzlich zu den ZPEs wurde die Synthese auf Basis der von Interviews mit Projektverantwortlichen und, wenn möglich, mit den entsprechenden Evaluator:innen erstellt. Ziel war es, übergangshilfe- und kontextspezifischen Erfolgs- und Misserfolges zu identifizieren und systematisch zusammenzufassen sowie entsprechende Handlungsempfehlungen daraus abzuleiten. Methodisch lag der Synthese ein Mixed-Method Ansatz zu Grunde, bestehend aus einer Kombination aus qualitativer Inhaltsanalyse und QCA (Fuzzy- set qualitative comparative analysis).
Wirkungsmonitoring im Rahmen der TZ-Maßnahme und Wirkungsevaluation auf systemischer Ebene zum Beitrag der Maßnahme zur Verzahnung von EZ und AWF
Die Herausforderungen des Klimawandels und des kontinuierlichen Rückgangs fossiler Brennstoffvorräte treffen die verschiedenen Regionen der Erde in unterschiedlicher Weise. Die Staaten haben sich dabei ambitionierte Ziele gesetzt: Mexiko möchte z.B. bis zum Jahr 2024 mehr als ein Drittel seiner Energieproduktion durch erneuerbare Energien erzeugen. Trotz aller Bemühungen ist der Umweltschutz bisher im nördlichen Lateinamerika noch nicht sonderlich erfolgreich gewesen. Eine Ursache hierfür ist die mangelhafte Verbreitung moderner Umwelttechnologien in der Region. Hier setzte das Projekt „Kooperationsplattform Lateinamerika Nord (KOPLAN)“ an und nahm vor allem zentrale Defizite in den Blick, die internationalen Investitionen und Kooperationen entgegenstehen. Diese sind vor allem fehlende Fachkompetenzen in der mittelständigen Wirtschaft im Bereich moderner Umwelttechnologien.
Im Rahmen des gegenwärtigen Auftrags unterstützte das CEval gemeinsam mit dem iSPO-Institut das Vorhaben in den Komponenten Wirkungsmonitoring und Evaluation. Ausgangspunkt eines wirkungsorientierten Monitoring ist in aller Regel das Zielsystem inkl. Zielerreichungsindikatoren und relevanter Annahmen der betreffenden Maßnahme. Veränderungen auf anderen Ebenen, insbesondere im Rahmen von Kooperationsmechanismen, werden dagegen nicht direkt oder nur am Rande im Rahmen des Monitoring thematisiert. Diese Entwicklung von Kooperationssystemen oder aber die Eignung der diesbezüglichen Förderinstrumente werden darüber hinaus im Rahmen der Komponente Evaluation in den Blick genommen.
Im Ergebnis sollten im Rahmen dieses Auftrags neben dem Monitoring und der Erfassung von Wirkungen der Einzelmaßnahmen Erkenntnisse zum Beitrag KOPLANS zur besseren Verzahnung von EZ und AWZ sowie von öffentlichem und privatem Sektor aus systemischer Ebene generiert werden.
Meta-Evaluation von ADA Projekt- und Programmevaluationen 2016-2018
Gegenstand der Meta-Evaluation waren die ADA-Evaluationen von Programmen und Projekten der Entwicklungszusammenarbeit, welche zwischen 2016 und 2018 durchgeführt wurden. Ziel war es, die Qualität und Nützlichkeit der (internen und externen) Evaluationen zu bewerten und daraus Empfehlungen zur Verbesserung des ADA-Instrumentariums für das Design und die Durchführung zukünftiger Evaluationen abzuleiten.
Im Zentrum der Meta-Evaluation stand dabei eine Dokumentenanalyse, mittels derer auf Grundlage eines detaillierten Analyseprotokolls die Qualität der Evaluationsberichte bewertet wurde. Durch den Einsatz eines solchen Protokolls, das alle relevanten Analysedimensionen, Indikatoren und Skalendefinitionen beinhaltet, wurde sichergestellt, dass die Bewertungsergebnisse verlässlich und nachvollziehbar sind. Zur Bewertung der Nützlichkeit und Nutzung der Evaluationen, wurden deren Nutzer:innen (z.B. Programmverantwortliche) im Rahmen von leitfadengestützten Einzel- und Gruppeninterviews sowie & zur Gewährleistung einer größtmöglichen Repräsentativität der Untersuchungsergebnisse & einer teilstandardisierten Online-Erhebung befragt.
Meta-Evaluation und Synthese von Evaluationsberichten der Christoffel Blindenmission
Im Auftrag der Christoffel Blindenmission (CBM) führte CEval eine Synthese von 24 Evaluationsberichten der Jahre 2016 und 2017 durch. Mit dem Mandat in den ärmsten Regionen der Welt für eine Verbesserung der Lebensqualität von Menschen mit Behinderungen zu kämpfen, liegt der Projektfokus der CBM auf einer eingehenden Kooperation mit sowie auf der Förderung von lokalen Akteuren in Entwicklungsländern und Krisenregionen.
Im Zentrum der Evaluation stand eine eingehende Dokumentenanalyse der eingereichten Evaluationsberichte. Um die Homogenität der Daten zu gewährleisten wurde zunächst die Qualität aller Evaluationsberichte systematisch bewertet. Berichte, die gegebene Mindestqualitätsstandards erfüllten, wurden anhand eines Analyserasters, beruhend auf den Evaluationsfragen, evaluiert. Ziel war die Zusammenfassung der unabhängigen Projektevaluationen sowie der daraus resultierenden Erkenntnisse hinsichtlich der einzelnen CBM-Mandatsbereiche. Zusätzliches Instrument zur qualitativen und quantitativen Datenerhebung war eine Onlinebefragung der weltweiten Regionalbüros bezüglich der Nutzung und des Nutzwertes der Evaluationsberichte. Der Evaluationsbericht beantworte dabei Fragen die sich an den OECD-DAC Kriterien strukturierten.
Meta-Evaluation der Evaluierungsberichte von Plan International
Plan International arbeitet seit vielen Jahren in Afrika, Asien und Nord- und Südamerika, um Kinderrechte zu fördern und Kindern aus der Armut zu befreien. Das 1989 gegründete Deutsche Nationalbüro von Plan International beteiligt sich an der Finanzierung von Entwicklungsprojekten und -programmen sowie an der Finanzierung und Beauftragung externer Evaluationen. Plan International Deutschland beschloss, eine Meta-Evaluierung der Evaluierungsberichte aus den Jahren 2013 und 2017, die alle geographischen Regionen abdecken, durchzuführen.
Die vorrangigen Ziele der Meta-Evaluation waren die Bewertung der Stärken und Schwächen der Evaluationsberichte anhand einer Analyse der Qualität, die Identifizierung der Erfolgs- und Risikofaktoren, die ihre Qualität beeinflussen können, und das Geben von Empfehlungen. Ein besonderer Schwerpunkt in der Meta-Evaluation war auf den Einfluss der Art der Evaluierung (d.h. von wem sie koordiniert und durchgeführt wird) sowie auf die verfügbaren Ressourcen und den Zeitrahmen gelegt.
Die Meta-Evaluierung basierte auf einer Analyse der Evaluierungsberichte. Umfangreiche Analyseinstrumente wurden eingesetzt, um die Vollständigkeit der Berichte, die Validität der Befunde und die Nützlichkeit der Auswertungsberichte zu analysieren. Die Dokumentenanalyse gliederte sich in zwei Phasen. Während in der ersten Phase („Pre-Rating“) die Vollständigkeit der Evaluierungsberichte bewertet wurde, wurde in der zweiten Phase („vertiefte Analyse“) ein umfassenderes Set von Qualitätsbewertungskriterien auf eine Stichprobe von Berichten angewandt, um eine detailliertere Beurteilung der Validität der Ergebnisse und der Nützlichkeit für ihre Adressaten zu ermöglichen.