Erstellung einer AMPA-Übersicht für 20 multilaterale Organisationen sowie zweier Gesamtübersichten
Das Annual Multilateral Performance Assessment (AMPA) ist ein Instrument der Direktion für Entwicklung und Zusammenarbeit (DEZA) zur jährlichen Leistungsbeurteilung ihrer prioritären multilateralen Organisationen. Ziel sind möglichst neutrale und unabhängige Bewertungen dieser Organisationen, mit geringem Aufwand von Ressourcen auf Basis von existierenden und zugänglichen Informationen. AMPA basiert auf 1) MOPAN-Berichten (externe Quelle), 2) den CCM Annual Reports (DEZA-Beurteilung) sowie 3) Self-Assessments der multilateralen Organisationen (z.B. Scorecards).
Im Rahmen eines beratenden Auswertungsauftrags hat das CEval gemeinsam mit dem Auftraggeber konkrete Maßnahmen zur Optimierung des Performance Assessments erarbeitet.
Entwicklung einer Systematik von Indikatoren zur Messung sozialer Ungleichheiten im Kontext deutscher Entwicklungszusammenarbeit
Im Kontext der Sustainable Development Goals (SDG 2030) haben die Vereinten Nationen erstmals auch die Reduzierung sozialer Ungleichheiten als zentrales Ziel internationaler Entwicklungspolitik formuliert. Vor diesem Hintergrund hat der Abbau sozialer Ungleichheiten auch in der deutschen Entwicklungszusammenarbeit an Relevanz gewonnen. Um Projekte der deutschen EZ auf ihre Wirkung auf soziale Ungleichheiten zu evaluieren, ist die Entwicklung von spezifischen und validen Indikatoren zentraler Ausgangspunkt.
Das CEval hat eine Zusammenstellung von Indikatoren zur Messung sozialer Ungleichheit erarbeitet und eine Systematik entwickelt, die Indikatoren nach vertikalen und horizontalen Ungleichheitsdimensionen, Sektoren und Handlungsebenen strukturiert. Darüber hinaus wurden relevante Indikatoren an den Kontext der deutschen Entwicklungszusammenarbeit adaptiert und für die Projektarbeit der GIZ in den Partnerländern nutzbar gemacht.
Meta-Evaluation von CoE Projekt- und Programmevaluationen (2016-2019)
Im Rahmen seiner Qualitätssicherung von dezentralen Evaluierungsberichten hatte der Europarat die CEval GmbH beauftragt, eine Stichprobe von 32 dezentralen Evaluierungsberichten, die von verschiedenen der Hauptverwaltungseinheiten des Europarates für den Zeitraum 2016-2019 erstellt wurden, einer unabhängigen Qualitätskontrolle zu unterziehen. Übergeordnetes Ziel dieser Bestandsaufnahme war es, die Errichtung eines Bewertungsrahmens und die Gestaltung eines Qualitätssicherungssystems für den Europarat zu unterstützen.
Dementsprechend gibt der Qualitäts-Check Auskunft darüber, in welchem Ausmaß die dezentralen Evaluierungen allgemein anerkannten internationalen Qualitätsstandards entsprechen, und gibt Empfehlungen, welche Aspekte verbessert werden sollten. Außerdem liefert er eine Gesamtbewertung der wichtigsten Stärken und Schwächen der dezentralen Evaluierungsberichte; ermittelt die wichtigsten Ergebnisse, Empfehlungen und Erfahrungen zum Aufbau institutioneller Kapazitäten im Europarat; und gibt schließlich Empfehlungen für die Schaffung eines Rahmens für die Qualitätssicherung. Die Bewertung wurde auf Grundlage eines Analyserasters durchgeführt, welches alle relevanten Bewertungskriterien und -indikatoren sowie detaillierte Leitlinien enthält, um die Inter-Rater-Reliabilität sicherzustellen und somit eine maximale Objektivität der Ergebnisse zu gewährleisten.
Sektor-Evaluierung der Klimaprojekte im Rahmen der BMZ-Sonderinitiative Klima der Hanns-Seidel-Stiftung e.V. 2019
Die Hanns-Seidel-Stiftung (HSS) bezieht seit 2011 Mittel aus der Sonderinitiative Klima des BMZ und führt seitdem Projektmaßnahmen in zahlreichen Ländern im Bereich Klima, Umwelt und Energie durch. Mit den Maßnahmen in dem Bereich soll ein Beitrag zum Umwelt- und Naturschutz insgesamt geleistet werden sowie zur Bekämpfung des und Anpassung an den Klimawandel, zur nachhaltigen Energieversorgung und Ressourceneffizienz sowie zur nachhaltigen und umweltbewussten Land- und Forstwirtschaft. Formativ wurde aus dem Kontext der aktuellen Auslandsarbeit der Hanns-Seidel-Stiftung in den Themenbereichen Klima-Umwelt-Energie (KUE) und deren internationalen Lösungsversuchen, eine grundlegende Strategie erarbeitet. Diese wurde am Beispiel von drei Projekten in den Ländern Indien, Bolivien und Namibia von der CEval GmbH evaluiert.
Methodisch gesehen beinhaltete die Evaluation einen theoriebasierten Anteil, welcher in der Rekonstruktion der Theories of Change (ToC) der drei Projekte bestand. Außerdem wurden die drei ausgewählten Projekte auf Projektebene evaluiert, wofür Feldphasen in allen drei Ländern durchgeführt wurden und Interviews mit Partnern und Zielgruppen geführt wurden. Zudem beinhaltete die Evaluation einen Syntheseteil, welcher sich auf die Klimastrategie der Hanns-Seidel-Stiftung allgemein bezog und in welchem die Ergebnisse aus den Evaluationen der drei Projekte gebündelt und mit Informationen aus der Zentrale der HSS in München ergänzt wurden.
Rapid Appraisals für zwei Moringa-Investitionen
Moringa SCA SICAR ist ein Private-Equity-Fonds, der gegründet wurde als Reaktion auf das wachsende Interesse des Finanz- und Entwicklungssektors an Investitionen, die gleichzeitig eine finanzielle, ökologische und soziale Rendite bieten. Moringa konzentriert sich auf Investitionen in die Agroforstwirtschaft in afrikanischen und lateinamerikanischen Entwicklungs- und am wenigsten entwickelten Ländern. Moringa implementiert agroforstwirtschaftliche Landnutzungssysteme auf kommerzieller Basis mit einem kommerziellen Investitionsansatz, wobei eine große Anzahl benachbarter Kleinbauern und Verarbeiter durch vertragliche Vereinbarungen in das Geschäftsmodell integriert werden. Die Agroforstwirtschaftliche Technische Unterstützungsfazilität (ATAF) wurde von Moringa Partnership eingerichtet, um technische Unterstützung für Investitionen des Fonds zu leisten, mit dem Ziel, die positiven ökologischen und sozialen Auswirkungen, die durch Moringa-Investitionen ausgelöst werden, zu verstärken.
Die CEval GmbH hat Baseline Rapid Appraisals für zwei Moringa Investments durchgeführt. Dabei lag der Fokus auf der Lebenssituation der Landwirte und anderer relevanter Zielgruppen, wie z.B. Fabrikarbeiter. Methodisch folgten die Rapid Appraisals einem Mixed-Methods-Ansatz, welcher eine kleine Umfrage bei den Landwirten für jedes Rapid Appraisal sowie Interviews mit den relevanten Stakeholdergruppen beinhaltete. Die Rapid Appraisals wurden für Moringa-Investitionen in Benin und Togo durchgeführt.
Evaluation von zwei Schul-Rehabilitations Projekten in Nepal
Während zwei massiver Erdbeben in Nepal im Jahr 2015 wurden tausende von Schulen zerstört. Zusammen mit dem Konsortiumpartnern Helvetas und Schweizer Rot Kreuz errichtete Caritas Schweiz im Zuge eines Rehabilitationsprojektes 36 Schulen in der schwer zugänglichen Bergregion Sindhupalchok. Das Projekt umfasste Trainingsmaßnahmen zu „disaster risk reduction“, Instandhaltung und WASH (water, sanitation, hygiene) sowie soziale Interaktion mit Schulabbrecher:innen.
Die Finale Evaluation richtete sich an drei Kriterien der Core Humanitarian Standards aus (Appropriateness and relevance, effectiveness and timeliness, preparedness and resilience) um Lehren für weitere Katastrophenhilfseinsätze zu gewinnen.
Die Evaluation bediente sich verschiedener Methoden und bezog neben Einzelinterviews mit Projektverantwortlichen, Vertreter:innen der nationalen Autorität, Teammitglieder:innen, Schulleiter:innen und Bürgermeister:innen auch durch Gruppendiskussionen die Stimmen der Schulverwaltungsgremien und Lehrer:innen ein. Eine umfangreiche Befragung mehrerer hundert Schüler:innen, Eltern und Lehrer:innen ermöglichte eine vertiefende quantitative Bewertung.
Wissenschaftliche Beratung der Stabsstelle Evaluierung der GIZ zur Entwicklung aggregierter Wirkungsindikatoren
Die Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH trägt auf vielfältige Weise zur Lösung regionaler und globaler Probleme bei. Dazu gehören u.a. die Eindämmung der Folgen des Klimawandels, die Bekämpfung von Armut und Hunger oder die Schaffung eines gleichberechtigten Zugangs zu Bildung und Beschäftigung von Männern und Frauen. Für die Erfassung der durch ihre Vorhaben erbrachten Beiträge verfügt die GIZ über eine Reihe von Instrumenten und Verfahren zur Wirkungsmessung und -bewertung. Diese Instrumente und Verfahren sind jedoch im Wesentlichen auf die Berichterstattung an das BMZ ausgerichtet sowie darauf, Erkenntnisse zur Verbesserung einzelner Interventionen (PEVs) oder zur Weiterentwicklung der strategischen Ausrichtung der GIZ im jeweiligen Sektor (USEs) zu generieren. Auf der Ebene der Gesamtorganisation fehlte es jedoch an vergleichbaren Ansätzen zur Darstellung der Beiträge der GIZ insgesamt, bspw. gegenüber der Öffentlichkeit oder dem Parlament (insb. AWZ).
Um die GIZ auch auf dieser Ebene auskunftsfähig zu machen, initiierte die Stabsstelle Monitoring und Evaluierung 2014 einen Prozess zur Entwicklung von aggregierten Indikatoren, die Aussagen über den gemeinsamen Beitrag eines möglichst großen Teils der Vorhaben in den verschiedenen Sektoren, in denen die GIZ aktiv ist, erlauben.
Zentrale Projektevaluation des Projektes Competitive African Cashew Value Chains for Pro-Poor Growth
Die Cashew-Wertschöpfungskette bietet den afrikanischen Erzeugerländern interessante Möglichkeiten, Arbeitsplätze zu schaffen, betriebliche und volkswirtschaftliche Einkommen zu steigern und die Ernährungssicherung zu verbessern. Bis zum Zeitpunkt der Evaluation wurden die Potentiale jedoch kaum genutzt. So lagen die Erträge der afrikanischen Produzenten/innen mit 300 bis 550 Kilogramm Rohnüsse pro Hektar weit hinter den Erträgen in Indien und Vietnam und die Verarbeitungskapazitäten und die Arbeitsproduktivität der Betriebe waren noch zu gering, wodurch nur ein geringer Teil der Rohnüsse in den afrikanischen Herstellerländern verarbeitet wurde. Das Projekt „Competitive African Cashew Value Chains for Pro-Poor Growth“ der Deutschen Gesellschaft für internationale Zusammenarbeit GmbH unterstützte den Ausbau und die Intensivierung der Cashew Wertschöpfungskette in den sechs Ländern Ländern Benin, Burkina Faso, Côte dIvoire, Ghana und Mosambik und Sierra Leone.
Das Projekt setzte dabei auf vier Handlungsebenen an: (i) die bessere Versorgung mit leistungsfähigem Pflanzgut durch Forschung und Vermehrung und Fortbildung der Produzenten/innen durch Training und Beratung, (ii) die Beratung von Verarbeitern von Cashew-Rohnüssen und Nebenprodukten zur Verbesserung der Prozesseffizienz, (iii) die Intensivierung von Geschäftsverbindungen und Austausch zwischen allen Beteiligten der Wertschöpfungskette und (iv) die Förderung der nationalen und regionalen Rahmenbedingungen durch Beratung der Fachministerien und Intensivierung des regionalen Austauschs zwischen allen Akteuren.
Die CEval GmbH war von der GIZ mit der zentralen Projektevaluation beauftragt worden. Die Evaluation wurde an den OECD DAC Kriterien ausgerichtet und somit die Relevanz, Effektivität, Effizienz, Wirkung, Nachhaltigkeit und Kohärenz der Projektumsetzung prüfen. Methodisch baute die Evaluation auf den verfügbaren quantitativen Sekundärdaten des Projektes auf und erweiterte diese durch die Erhebung von Leitfadeninterviews und Fokusgruppendiskussionen mit Projektverantwortliche, Stakeholdern und der Zielgruppevertreter:innen. Aufgrund der zur Zeit der Evaluation vorherrschenden Corona-Pandemie wurde das Vorhaben als Remote-Evaluation umgesetzt. Die Evaluatoren der CEval GmbH arbeiteten mit lokalen Consultants in den Ländern Afrikas zusammen, welche die Datenerhebung im Feld durchführten.
Wirkungsmonitoring im Rahmen der TZ-Maßnahme und Wirkungsevaluation auf systemischer Ebene zum Beitrag der Maßnahme zur Verzahnung von EZ und AWF
Die Herausforderungen des Klimawandels und des kontinuierlichen Rückgangs fossiler Brennstoffvorräte treffen die verschiedenen Regionen der Erde in unterschiedlicher Weise. Die Staaten haben sich dabei ambitionierte Ziele gesetzt: Mexiko möchte z.B. bis zum Jahr 2024 mehr als ein Drittel seiner Energieproduktion durch erneuerbare Energien erzeugen. Trotz aller Bemühungen ist der Umweltschutz bisher im nördlichen Lateinamerika noch nicht sonderlich erfolgreich gewesen. Eine Ursache hierfür ist die mangelhafte Verbreitung moderner Umwelttechnologien in der Region. Hier setzte das Projekt „Kooperationsplattform Lateinamerika Nord (KOPLAN)“ an und nahm vor allem zentrale Defizite in den Blick, die internationalen Investitionen und Kooperationen entgegenstehen. Diese sind vor allem fehlende Fachkompetenzen in der mittelständigen Wirtschaft im Bereich moderner Umwelttechnologien.
Im Rahmen des gegenwärtigen Auftrags unterstützte das CEval gemeinsam mit dem iSPO-Institut das Vorhaben in den Komponenten Wirkungsmonitoring und Evaluation. Ausgangspunkt eines wirkungsorientierten Monitoring ist in aller Regel das Zielsystem inkl. Zielerreichungsindikatoren und relevanter Annahmen der betreffenden Maßnahme. Veränderungen auf anderen Ebenen, insbesondere im Rahmen von Kooperationsmechanismen, werden dagegen nicht direkt oder nur am Rande im Rahmen des Monitoring thematisiert. Diese Entwicklung von Kooperationssystemen oder aber die Eignung der diesbezüglichen Förderinstrumente werden darüber hinaus im Rahmen der Komponente Evaluation in den Blick genommen.
Im Ergebnis sollten im Rahmen dieses Auftrags neben dem Monitoring und der Erfassung von Wirkungen der Einzelmaßnahmen Erkenntnisse zum Beitrag KOPLANS zur besseren Verzahnung von EZ und AWZ sowie von öffentlichem und privatem Sektor aus systemischer Ebene generiert werden.
Meta-Evaluation von ADA Projekt- und Programmevaluationen 2016-2018
Gegenstand der Meta-Evaluation waren die ADA-Evaluationen von Programmen und Projekten der Entwicklungszusammenarbeit, welche zwischen 2016 und 2018 durchgeführt wurden. Ziel war es, die Qualität und Nützlichkeit der (internen und externen) Evaluationen zu bewerten und daraus Empfehlungen zur Verbesserung des ADA-Instrumentariums für das Design und die Durchführung zukünftiger Evaluationen abzuleiten.
Im Zentrum der Meta-Evaluation stand dabei eine Dokumentenanalyse, mittels derer auf Grundlage eines detaillierten Analyseprotokolls die Qualität der Evaluationsberichte bewertet wurde. Durch den Einsatz eines solchen Protokolls, das alle relevanten Analysedimensionen, Indikatoren und Skalendefinitionen beinhaltet, wurde sichergestellt, dass die Bewertungsergebnisse verlässlich und nachvollziehbar sind. Zur Bewertung der Nützlichkeit und Nutzung der Evaluationen, wurden deren Nutzer:innen (z.B. Programmverantwortliche) im Rahmen von leitfadengestützten Einzel- und Gruppeninterviews sowie & zur Gewährleistung einer größtmöglichen Repräsentativität der Untersuchungsergebnisse & einer teilstandardisierten Online-Erhebung befragt.
