Sektor-Evaluierung der Klimaprojekte im Rahmen der BMZ-Sonderinitiative Klima der Hanns-Seidel-Stiftung e.V. 2019
Die Hanns-Seidel-Stiftung (HSS) bezieht seit 2011 Mittel aus der Sonderinitiative Klima des BMZ und führt seitdem Projektmaßnahmen in zahlreichen Ländern im Bereich Klima, Umwelt und Energie durch. Mit den Maßnahmen in dem Bereich soll ein Beitrag zum Umwelt- und Naturschutz insgesamt geleistet werden sowie zur Bekämpfung des und Anpassung an den Klimawandel, zur nachhaltigen Energieversorgung und Ressourceneffizienz sowie zur nachhaltigen und umweltbewussten Land- und Forstwirtschaft. Formativ wurde aus dem Kontext der aktuellen Auslandsarbeit der Hanns-Seidel-Stiftung in den Themenbereichen Klima-Umwelt-Energie (KUE) und deren internationalen Lösungsversuchen, eine grundlegende Strategie erarbeitet. Diese wurde am Beispiel von drei Projekten in den Ländern Indien, Bolivien und Namibia von der CEval GmbH evaluiert.
Methodisch gesehen beinhaltete die Evaluation einen theoriebasierten Anteil, welcher in der Rekonstruktion der Theories of Change (ToC) der drei Projekte bestand. Außerdem wurden die drei ausgewählten Projekte auf Projektebene evaluiert, wofür Feldphasen in allen drei Ländern durchgeführt wurden und Interviews mit Partnern und Zielgruppen geführt wurden. Zudem beinhaltete die Evaluation einen Syntheseteil, welcher sich auf die Klimastrategie der Hanns-Seidel-Stiftung allgemein bezog und in welchem die Ergebnisse aus den Evaluationen der drei Projekte gebündelt und mit Informationen aus der Zentrale der HSS in München ergänzt wurden.
Rapid Appraisals für zwei Moringa-Investitionen
Moringa SCA SICAR ist ein Private-Equity-Fonds, der gegründet wurde als Reaktion auf das wachsende Interesse des Finanz- und Entwicklungssektors an Investitionen, die gleichzeitig eine finanzielle, ökologische und soziale Rendite bieten. Moringa konzentriert sich auf Investitionen in die Agroforstwirtschaft in afrikanischen und lateinamerikanischen Entwicklungs- und am wenigsten entwickelten Ländern. Moringa implementiert agroforstwirtschaftliche Landnutzungssysteme auf kommerzieller Basis mit einem kommerziellen Investitionsansatz, wobei eine große Anzahl benachbarter Kleinbauern und Verarbeiter durch vertragliche Vereinbarungen in das Geschäftsmodell integriert werden. Die Agroforstwirtschaftliche Technische Unterstützungsfazilität (ATAF) wurde von Moringa Partnership eingerichtet, um technische Unterstützung für Investitionen des Fonds zu leisten, mit dem Ziel, die positiven ökologischen und sozialen Auswirkungen, die durch Moringa-Investitionen ausgelöst werden, zu verstärken.
Die CEval GmbH hat Baseline Rapid Appraisals für zwei Moringa Investments durchgeführt. Dabei lag der Fokus auf der Lebenssituation der Landwirte und anderer relevanter Zielgruppen, wie z.B. Fabrikarbeiter. Methodisch folgten die Rapid Appraisals einem Mixed-Methods-Ansatz, welcher eine kleine Umfrage bei den Landwirten für jedes Rapid Appraisal sowie Interviews mit den relevanten Stakeholdergruppen beinhaltete. Die Rapid Appraisals wurden für Moringa-Investitionen in Benin und Togo durchgeführt.
Evaluation von zwei Schul-Rehabilitations Projekten in Nepal
Während zwei massiver Erdbeben in Nepal im Jahr 2015 wurden tausende von Schulen zerstört. Zusammen mit dem Konsortiumpartnern Helvetas und Schweizer Rot Kreuz errichtete Caritas Schweiz im Zuge eines Rehabilitationsprojektes 36 Schulen in der schwer zugänglichen Bergregion Sindhupalchok. Das Projekt umfasste Trainingsmaßnahmen zu „disaster risk reduction“, Instandhaltung und WASH (water, sanitation, hygiene) sowie soziale Interaktion mit Schulabbrecher:innen.
Die Finale Evaluation richtete sich an drei Kriterien der Core Humanitarian Standards aus (Appropriateness and relevance, effectiveness and timeliness, preparedness and resilience) um Lehren für weitere Katastrophenhilfseinsätze zu gewinnen.
Die Evaluation bediente sich verschiedener Methoden und bezog neben Einzelinterviews mit Projektverantwortlichen, Vertreter:innen der nationalen Autorität, Teammitglieder:innen, Schulleiter:innen und Bürgermeister:innen auch durch Gruppendiskussionen die Stimmen der Schulverwaltungsgremien und Lehrer:innen ein. Eine umfangreiche Befragung mehrerer hundert Schüler:innen, Eltern und Lehrer:innen ermöglichte eine vertiefende quantitative Bewertung.
Wissenschaftliche Beratung der Stabsstelle Evaluierung der GIZ zur Entwicklung aggregierter Wirkungsindikatoren
Die Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH trägt auf vielfältige Weise zur Lösung regionaler und globaler Probleme bei. Dazu gehören u.a. die Eindämmung der Folgen des Klimawandels, die Bekämpfung von Armut und Hunger oder die Schaffung eines gleichberechtigten Zugangs zu Bildung und Beschäftigung von Männern und Frauen. Für die Erfassung der durch ihre Vorhaben erbrachten Beiträge verfügt die GIZ über eine Reihe von Instrumenten und Verfahren zur Wirkungsmessung und -bewertung. Diese Instrumente und Verfahren sind jedoch im Wesentlichen auf die Berichterstattung an das BMZ ausgerichtet sowie darauf, Erkenntnisse zur Verbesserung einzelner Interventionen (PEVs) oder zur Weiterentwicklung der strategischen Ausrichtung der GIZ im jeweiligen Sektor (USEs) zu generieren. Auf der Ebene der Gesamtorganisation fehlte es jedoch an vergleichbaren Ansätzen zur Darstellung der Beiträge der GIZ insgesamt, bspw. gegenüber der Öffentlichkeit oder dem Parlament (insb. AWZ).
Um die GIZ auch auf dieser Ebene auskunftsfähig zu machen, initiierte die Stabsstelle Monitoring und Evaluierung 2014 einen Prozess zur Entwicklung von aggregierten Indikatoren, die Aussagen über den gemeinsamen Beitrag eines möglichst großen Teils der Vorhaben in den verschiedenen Sektoren, in denen die GIZ aktiv ist, erlauben.
Zentrale Projektevaluation des Projektes Competitive African Cashew Value Chains for Pro-Poor Growth
Die Cashew-Wertschöpfungskette bietet den afrikanischen Erzeugerländern interessante Möglichkeiten, Arbeitsplätze zu schaffen, betriebliche und volkswirtschaftliche Einkommen zu steigern und die Ernährungssicherung zu verbessern. Bis zum Zeitpunkt der Evaluation wurden die Potentiale jedoch kaum genutzt. So lagen die Erträge der afrikanischen Produzenten/innen mit 300 bis 550 Kilogramm Rohnüsse pro Hektar weit hinter den Erträgen in Indien und Vietnam und die Verarbeitungskapazitäten und die Arbeitsproduktivität der Betriebe waren noch zu gering, wodurch nur ein geringer Teil der Rohnüsse in den afrikanischen Herstellerländern verarbeitet wurde. Das Projekt „Competitive African Cashew Value Chains for Pro-Poor Growth“ der Deutschen Gesellschaft für internationale Zusammenarbeit GmbH unterstützte den Ausbau und die Intensivierung der Cashew Wertschöpfungskette in den sechs Ländern Ländern Benin, Burkina Faso, Côte dIvoire, Ghana und Mosambik und Sierra Leone.
Das Projekt setzte dabei auf vier Handlungsebenen an: (i) die bessere Versorgung mit leistungsfähigem Pflanzgut durch Forschung und Vermehrung und Fortbildung der Produzenten/innen durch Training und Beratung, (ii) die Beratung von Verarbeitern von Cashew-Rohnüssen und Nebenprodukten zur Verbesserung der Prozesseffizienz, (iii) die Intensivierung von Geschäftsverbindungen und Austausch zwischen allen Beteiligten der Wertschöpfungskette und (iv) die Förderung der nationalen und regionalen Rahmenbedingungen durch Beratung der Fachministerien und Intensivierung des regionalen Austauschs zwischen allen Akteuren.
Die CEval GmbH war von der GIZ mit der zentralen Projektevaluation beauftragt worden. Die Evaluation wurde an den OECD DAC Kriterien ausgerichtet und somit die Relevanz, Effektivität, Effizienz, Wirkung, Nachhaltigkeit und Kohärenz der Projektumsetzung prüfen. Methodisch baute die Evaluation auf den verfügbaren quantitativen Sekundärdaten des Projektes auf und erweiterte diese durch die Erhebung von Leitfadeninterviews und Fokusgruppendiskussionen mit Projektverantwortliche, Stakeholdern und der Zielgruppevertreter:innen. Aufgrund der zur Zeit der Evaluation vorherrschenden Corona-Pandemie wurde das Vorhaben als Remote-Evaluation umgesetzt. Die Evaluatoren der CEval GmbH arbeiteten mit lokalen Consultants in den Ländern Afrikas zusammen, welche die Datenerhebung im Feld durchführten.
Evaluation eines Capacity Development Projekts zur Verbesserung von Kinderschutzsystemen in Äthiopien und Indien
Weltweit sind Kinder in ihrem täglichen Leben zahlreichen Risikofaktoren ausgesetzt. In Anbetracht der Komplexität der Ursachen dafür, haben sich funktionierende Kinderschutzsysteme als wirksam erwiesen um Risiken entgegenzuwirken und Gewalt, Ausbeutung und Missbrauch zu verhindern. Kindernothilfe e.V. initiierte 2014 gemeinsam mit der Karl Kübel Stiftung, dem Child Fund und terre des hommes das Projekt „Entwicklung und Umsetzung institutioneller Kinderschutzpolitiken sowie Vernetzung mit lokalen Kinderschutzsystemen durch mindestens 240 Organisationen in neun Ländern Asiens und Afrikas“.
Da das Projekt im Dezember 2018 endete, war das Centrum für Evaluation von der Kindernothilfe im August 2018 mit der Durchführung einer Evaluation beauftragt worden. Ziel dieser war es, die Wirkungen des Projekts zu identifizieren und Erkenntnisse und Empfehlungen für zukünftige Interventionen auszusprechen. Ein wesentlicher Teil dabei war es, die Theory of Change (ToC) des Projekts rückwirkend zu entwickeln, wobei die Partizipation von Konsortialpartnern, nationalen Trainern sowie der Zielgruppe und Begünstigten hierfür eine große Rolle spielt. Im Oktober 2018 fanden Feldbesuche in Äthiopien und Südindien statt, um insgesamt sechs Partnerorganisationen zu besuchen und Interviews und Fokusgruppengespräche zu führen. Kinder wurden in die Evaluation miteingeschlossen, wofür kindgerechte, partizipative Forschungsmethoden, wie Picture Talk und Smiley-face-Skalen angewandt wurden. Am Ende jedes Feldbesuchs fand ein eintägiger Workshop statt, zu dem alle am Projekt teilgenommenen Organisationen der jeweiligen Region eingeladen worden waren. Während des Workshops wurden vorläufige Ergebnisse sowie die ToC vorgestellt, diskutiert und validiert. Schließlich wurden die verschiedenen Daten analysiert, trianguliert und die Ergebnisse den Konsortialpartnern vorgestellt.
International Program for Development Evaluation Training (IPDET)
Das International Program for Development Evaluation Training (IPDET) ist eines der führenden Trainingsprogramme im Bereich der Evaluierung von Entwicklungszusammenarbeit. Seit 2018 wird es gemeinsam vom Zentrum für Weiterbildung an der Universität Bern (Schweiz), dem Centrum für Evaluation an der Universität des Saarlandes (Deutschland) und der Independent Evaluation Group der Weltbank durchgeführt. Seit 2020 ist IPDET Partner der Global Evaluation Initiative (GEI) der Weltbank.
Ziel von IPDET ist es Praktizierenden im Bereich der Evaluierung die notwendigen Fertigkeiten zu vermitteln, um Richtlinien, Programme und Projekte auf lokaler, nationaler, regionaler und globaler Ebene zu evaluieren, sowie Führungskräften die nötigen Kenntnisse, um Evaluierungen zu beauftragen und Evaluierungsergebnisse für Entscheidungsprozesse zu nutzen. Weitere Infos zu IPDET finden Sie auf der Website: https://ipdet.org/.
Entwicklung eines M&E-Konzepts, M&E-Unterstützung sowie Entwicklung von Lern- und Austauschformaten für die Initiative „Verbesserte Lebensperspektiven für Jugendliche im ländlichen Ostafrika“
Das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ), die Deutsche Stiftung Weltbevölkerung, die Siemens Stiftung und die Hanns R. Neumann Stiftung wollen gemeinsam die Perspektiven von Jugendlichen in ländlichen Gebieten Ostafrikas verbessern. Im Rahmen der Initiative „Verbesserte Lebensperspektiven für Jugendliche im ländlichen Ostafrika“ befähigen die Partner hierfür Jugendliche, Entwicklungsprozesse aktiv zu gestalten und sich in relevanten politischen Prozessen Gehör zu verschaffen. Außerdem sollen die Lebensgrundlagen der Jugendlichen durch die Erhöhung ihres Einkommens und die Verbesserung ihrer Gesundheitsversorgung verbessert werden. Damit soll auch ein Beitrag zur Bekämpfung der Ursachen von Migration geleistet werden. Die Initiative wird von drei lokalen Implementierungspartnern in Uganda umgesetzt, nämlich Action for Health Uganda, Hanns R. Neumann Stiftung Africa Ltd. und WHAVE Solutions.
Die Tätigkeit der CEval GmbH umfasste drei Bereiche: die Entwicklung eines M&E-Konzepts für das Programm, die Unterstützung des Monitorings und der Evaluation des Programms durch die Durchführung von drei Untersuchungen (Baseline, Midterm und Final) und die Unterstützung des Lernens und Austauschs in der Pilotphase des Programms. Zur Erreichung dieser Ziele wurde ein partizipativer Ansatz verfolgt, wobei auf eine starke Einbeziehung der verschiedenen Stakeholdergruppen, von der Planungsphase über die Datenerhebung bis hin zur Interpretation der Ergebnisse, geachtet wurde. Für eine ganzheitliche Bewertung der Wirksamkeit und Nachhaltigkeit der Initiative sowie zur Validierung ihrer Interventionslogik verfolgte die Evaluation einen Multimethoden-Ansatz, basierend auf einem quantitativen quasi-experimentellen und einem qualitativen Fallstudiendesign. Während das quasi-experimentelle Design auf der Erhebung von Ziel- und Vergleichsgruppendaten von insgesamt ca. 1.000 Personen beruhte, umfasste das Fallstudienkonzept Interviews und Fokusgruppendiskussionen mit Schlüsselpersonen aus den Gruppen der Implementierungspartner, Zielgruppen, örtlichen Behörden und Branchenexperten.
Wirkungsmonitoring im Rahmen der TZ-Maßnahme und Wirkungsevaluation auf systemischer Ebene zum Beitrag der Maßnahme zur Verzahnung von EZ und AWF
Die Herausforderungen des Klimawandels und des kontinuierlichen Rückgangs fossiler Brennstoffvorräte treffen die verschiedenen Regionen der Erde in unterschiedlicher Weise. Die Staaten haben sich dabei ambitionierte Ziele gesetzt: Mexiko möchte z.B. bis zum Jahr 2024 mehr als ein Drittel seiner Energieproduktion durch erneuerbare Energien erzeugen. Trotz aller Bemühungen ist der Umweltschutz bisher im nördlichen Lateinamerika noch nicht sonderlich erfolgreich gewesen. Eine Ursache hierfür ist die mangelhafte Verbreitung moderner Umwelttechnologien in der Region. Hier setzte das Projekt „Kooperationsplattform Lateinamerika Nord (KOPLAN)“ an und nahm vor allem zentrale Defizite in den Blick, die internationalen Investitionen und Kooperationen entgegenstehen. Diese sind vor allem fehlende Fachkompetenzen in der mittelständigen Wirtschaft im Bereich moderner Umwelttechnologien.
Im Rahmen des gegenwärtigen Auftrags unterstützte das CEval gemeinsam mit dem iSPO-Institut das Vorhaben in den Komponenten Wirkungsmonitoring und Evaluation. Ausgangspunkt eines wirkungsorientierten Monitoring ist in aller Regel das Zielsystem inkl. Zielerreichungsindikatoren und relevanter Annahmen der betreffenden Maßnahme. Veränderungen auf anderen Ebenen, insbesondere im Rahmen von Kooperationsmechanismen, werden dagegen nicht direkt oder nur am Rande im Rahmen des Monitoring thematisiert. Diese Entwicklung von Kooperationssystemen oder aber die Eignung der diesbezüglichen Förderinstrumente werden darüber hinaus im Rahmen der Komponente Evaluation in den Blick genommen.
Im Ergebnis sollten im Rahmen dieses Auftrags neben dem Monitoring und der Erfassung von Wirkungen der Einzelmaßnahmen Erkenntnisse zum Beitrag KOPLANS zur besseren Verzahnung von EZ und AWZ sowie von öffentlichem und privatem Sektor aus systemischer Ebene generiert werden.
Meta-Evaluation von ADA Projekt- und Programmevaluationen 2016-2018
Gegenstand der Meta-Evaluation waren die ADA-Evaluationen von Programmen und Projekten der Entwicklungszusammenarbeit, welche zwischen 2016 und 2018 durchgeführt wurden. Ziel war es, die Qualität und Nützlichkeit der (internen und externen) Evaluationen zu bewerten und daraus Empfehlungen zur Verbesserung des ADA-Instrumentariums für das Design und die Durchführung zukünftiger Evaluationen abzuleiten.
Im Zentrum der Meta-Evaluation stand dabei eine Dokumentenanalyse, mittels derer auf Grundlage eines detaillierten Analyseprotokolls die Qualität der Evaluationsberichte bewertet wurde. Durch den Einsatz eines solchen Protokolls, das alle relevanten Analysedimensionen, Indikatoren und Skalendefinitionen beinhaltet, wurde sichergestellt, dass die Bewertungsergebnisse verlässlich und nachvollziehbar sind. Zur Bewertung der Nützlichkeit und Nutzung der Evaluationen, wurden deren Nutzer:innen (z.B. Programmverantwortliche) im Rahmen von leitfadengestützten Einzel- und Gruppeninterviews sowie & zur Gewährleistung einer größtmöglichen Repräsentativität der Untersuchungsergebnisse & einer teilstandardisierten Online-Erhebung befragt.
