Zentrale Projektevaluation des Projektes Competitive African Cashew Value Chains for Pro-Poor Growth
Die Cashew-Wertschöpfungskette bietet den afrikanischen Erzeugerländern interessante Möglichkeiten, Arbeitsplätze zu schaffen, betriebliche und volkswirtschaftliche Einkommen zu steigern und die Ernährungssicherung zu verbessern. Bis zum Zeitpunkt der Evaluation wurden die Potentiale jedoch kaum genutzt. So lagen die Erträge der afrikanischen Produzenten/innen mit 300 bis 550 Kilogramm Rohnüsse pro Hektar weit hinter den Erträgen in Indien und Vietnam und die Verarbeitungskapazitäten und die Arbeitsproduktivität der Betriebe waren noch zu gering, wodurch nur ein geringer Teil der Rohnüsse in den afrikanischen Herstellerländern verarbeitet wurde. Das Projekt „Competitive African Cashew Value Chains for Pro-Poor Growth“ der Deutschen Gesellschaft für internationale Zusammenarbeit GmbH unterstützte den Ausbau und die Intensivierung der Cashew Wertschöpfungskette in den sechs Ländern Ländern Benin, Burkina Faso, Côte dIvoire, Ghana und Mosambik und Sierra Leone.
Das Projekt setzte dabei auf vier Handlungsebenen an: (i) die bessere Versorgung mit leistungsfähigem Pflanzgut durch Forschung und Vermehrung und Fortbildung der Produzenten/innen durch Training und Beratung, (ii) die Beratung von Verarbeitern von Cashew-Rohnüssen und Nebenprodukten zur Verbesserung der Prozesseffizienz, (iii) die Intensivierung von Geschäftsverbindungen und Austausch zwischen allen Beteiligten der Wertschöpfungskette und (iv) die Förderung der nationalen und regionalen Rahmenbedingungen durch Beratung der Fachministerien und Intensivierung des regionalen Austauschs zwischen allen Akteuren.
Die CEval GmbH war von der GIZ mit der zentralen Projektevaluation beauftragt worden. Die Evaluation wurde an den OECD DAC Kriterien ausgerichtet und somit die Relevanz, Effektivität, Effizienz, Wirkung, Nachhaltigkeit und Kohärenz der Projektumsetzung prüfen. Methodisch baute die Evaluation auf den verfügbaren quantitativen Sekundärdaten des Projektes auf und erweiterte diese durch die Erhebung von Leitfadeninterviews und Fokusgruppendiskussionen mit Projektverantwortliche, Stakeholdern und der Zielgruppevertreter:innen. Aufgrund der zur Zeit der Evaluation vorherrschenden Corona-Pandemie wurde das Vorhaben als Remote-Evaluation umgesetzt. Die Evaluatoren der CEval GmbH arbeiteten mit lokalen Consultants in den Ländern Afrikas zusammen, welche die Datenerhebung im Feld durchführten.
Evaluation eines Capacity Development Projekts zur Verbesserung von Kinderschutzsystemen in Äthiopien und Indien
Weltweit sind Kinder in ihrem täglichen Leben zahlreichen Risikofaktoren ausgesetzt. In Anbetracht der Komplexität der Ursachen dafür, haben sich funktionierende Kinderschutzsysteme als wirksam erwiesen um Risiken entgegenzuwirken und Gewalt, Ausbeutung und Missbrauch zu verhindern. Kindernothilfe e.V. initiierte 2014 gemeinsam mit der Karl Kübel Stiftung, dem Child Fund und terre des hommes das Projekt „Entwicklung und Umsetzung institutioneller Kinderschutzpolitiken sowie Vernetzung mit lokalen Kinderschutzsystemen durch mindestens 240 Organisationen in neun Ländern Asiens und Afrikas“.
Da das Projekt im Dezember 2018 endete, war das Centrum für Evaluation von der Kindernothilfe im August 2018 mit der Durchführung einer Evaluation beauftragt worden. Ziel dieser war es, die Wirkungen des Projekts zu identifizieren und Erkenntnisse und Empfehlungen für zukünftige Interventionen auszusprechen. Ein wesentlicher Teil dabei war es, die Theory of Change (ToC) des Projekts rückwirkend zu entwickeln, wobei die Partizipation von Konsortialpartnern, nationalen Trainern sowie der Zielgruppe und Begünstigten hierfür eine große Rolle spielt. Im Oktober 2018 fanden Feldbesuche in Äthiopien und Südindien statt, um insgesamt sechs Partnerorganisationen zu besuchen und Interviews und Fokusgruppengespräche zu führen. Kinder wurden in die Evaluation miteingeschlossen, wofür kindgerechte, partizipative Forschungsmethoden, wie Picture Talk und Smiley-face-Skalen angewandt wurden. Am Ende jedes Feldbesuchs fand ein eintägiger Workshop statt, zu dem alle am Projekt teilgenommenen Organisationen der jeweiligen Region eingeladen worden waren. Während des Workshops wurden vorläufige Ergebnisse sowie die ToC vorgestellt, diskutiert und validiert. Schließlich wurden die verschiedenen Daten analysiert, trianguliert und die Ergebnisse den Konsortialpartnern vorgestellt.
International Program for Development Evaluation Training (IPDET)
Das International Program for Development Evaluation Training (IPDET) ist eines der führenden Trainingsprogramme im Bereich der Evaluierung von Entwicklungszusammenarbeit. Seit 2018 wird es gemeinsam vom Zentrum für Weiterbildung an der Universität Bern (Schweiz), dem Centrum für Evaluation an der Universität des Saarlandes (Deutschland) und der Independent Evaluation Group der Weltbank durchgeführt. Seit 2020 ist IPDET Partner der Global Evaluation Initiative (GEI) der Weltbank.
Ziel von IPDET ist es Praktizierenden im Bereich der Evaluierung die notwendigen Fertigkeiten zu vermitteln, um Richtlinien, Programme und Projekte auf lokaler, nationaler, regionaler und globaler Ebene zu evaluieren, sowie Führungskräften die nötigen Kenntnisse, um Evaluierungen zu beauftragen und Evaluierungsergebnisse für Entscheidungsprozesse zu nutzen. Weitere Infos zu IPDET finden Sie auf der Website: https://ipdet.org/.
Entwicklung eines M&E-Konzepts, M&E-Unterstützung sowie Entwicklung von Lern- und Austauschformaten für die Initiative „Verbesserte Lebensperspektiven für Jugendliche im ländlichen Ostafrika“
Das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ), die Deutsche Stiftung Weltbevölkerung, die Siemens Stiftung und die Hanns R. Neumann Stiftung wollen gemeinsam die Perspektiven von Jugendlichen in ländlichen Gebieten Ostafrikas verbessern. Im Rahmen der Initiative „Verbesserte Lebensperspektiven für Jugendliche im ländlichen Ostafrika“ befähigen die Partner hierfür Jugendliche, Entwicklungsprozesse aktiv zu gestalten und sich in relevanten politischen Prozessen Gehör zu verschaffen. Außerdem sollen die Lebensgrundlagen der Jugendlichen durch die Erhöhung ihres Einkommens und die Verbesserung ihrer Gesundheitsversorgung verbessert werden. Damit soll auch ein Beitrag zur Bekämpfung der Ursachen von Migration geleistet werden. Die Initiative wird von drei lokalen Implementierungspartnern in Uganda umgesetzt, nämlich Action for Health Uganda, Hanns R. Neumann Stiftung Africa Ltd. und WHAVE Solutions.
Die Tätigkeit der CEval GmbH umfasste drei Bereiche: die Entwicklung eines M&E-Konzepts für das Programm, die Unterstützung des Monitorings und der Evaluation des Programms durch die Durchführung von drei Untersuchungen (Baseline, Midterm und Final) und die Unterstützung des Lernens und Austauschs in der Pilotphase des Programms. Zur Erreichung dieser Ziele wurde ein partizipativer Ansatz verfolgt, wobei auf eine starke Einbeziehung der verschiedenen Stakeholdergruppen, von der Planungsphase über die Datenerhebung bis hin zur Interpretation der Ergebnisse, geachtet wurde. Für eine ganzheitliche Bewertung der Wirksamkeit und Nachhaltigkeit der Initiative sowie zur Validierung ihrer Interventionslogik verfolgte die Evaluation einen Multimethoden-Ansatz, basierend auf einem quantitativen quasi-experimentellen und einem qualitativen Fallstudiendesign. Während das quasi-experimentelle Design auf der Erhebung von Ziel- und Vergleichsgruppendaten von insgesamt ca. 1.000 Personen beruhte, umfasste das Fallstudienkonzept Interviews und Fokusgruppendiskussionen mit Schlüsselpersonen aus den Gruppen der Implementierungspartner, Zielgruppen, örtlichen Behörden und Branchenexperten.
Querschnittsauswertung: Evidenzen aus Zentralen Projektevaluierungen im Bereich der Übergangshilfe
Als Brücke zwischen humanitärer Hilfe und längerfristiger Entwicklungszusammenarbeit kommt der Überganghilfe, insbesondere vor dem Hintergrund weltweit zunehmender Konflikte, verstärkt Bedeutung zu.
Die Stabstelle Evaluierung der Deutschen Gesellschaft für internationale Zusammenarbeit GmbH (GIZ) hatte infolgedessen die CEval GmbH beauftragt, eine Evaluationssynthese von Vorhaben der Überganghilfe, welche im Zeitraum von Januar 2013 bis April 2021 durchgeführt worden waren, vorzunehmen.
Gegenstand dieser Evaluierungssynthese waren neun zentrale Projektevaluierungen (ZPE) von Übergangshilfe-Projekten und eine ZPE eines regionalen EU-kofinanzierten Projekts mit ähnlichen thematischen Prioritäten, die in vier Ländern durchgeführt worden waren. Die Evaluierung umfasst somit diverse Länder und Regionen: Südsudan, Somalia, Haiti, Ukraine, Irak, Türkei, Libanon und Jordanien. Zusätzlich zu den ZPEs wurde die Synthese auf Basis der von Interviews mit Projektverantwortlichen und, wenn möglich, mit den entsprechenden Evaluator:innen erstellt. Ziel war es, übergangshilfe- und kontextspezifischen Erfolgs- und Misserfolges zu identifizieren und systematisch zusammenzufassen sowie entsprechende Handlungsempfehlungen daraus abzuleiten. Methodisch lag der Synthese ein Mixed-Method Ansatz zu Grunde, bestehend aus einer Kombination aus qualitativer Inhaltsanalyse und QCA (Fuzzy- set qualitative comparative analysis).
Erstellung einer AMPA-Übersicht für 20 multilaterale Organisationen sowie zweier Gesamtübersichten
Das Annual Multilateral Performance Assessment (AMPA) ist ein Instrument der Direktion für Entwicklung und Zusammenarbeit (DEZA) zur jährlichen Leistungsbeurteilung ihrer prioritären multilateralen Organisationen. Ziel sind möglichst neutrale und unabhängige Bewertungen dieser Organisationen, mit geringem Aufwand von Ressourcen auf Basis von existierenden und zugänglichen Informationen. AMPA basiert auf 1) MOPAN-Berichten (externe Quelle), 2) den CCM Annual Reports (DEZA-Beurteilung) sowie 3) Self-Assessments der multilateralen Organisationen (z.B. Scorecards).
Im Rahmen eines beratenden Auswertungsauftrags hat das CEval gemeinsam mit dem Auftraggeber konkrete Maßnahmen zur Optimierung des Performance Assessments erarbeitet.
Entwicklung einer Systematik von Indikatoren zur Messung sozialer Ungleichheiten im Kontext deutscher Entwicklungszusammenarbeit
Im Kontext der Sustainable Development Goals (SDG 2030) haben die Vereinten Nationen erstmals auch die Reduzierung sozialer Ungleichheiten als zentrales Ziel internationaler Entwicklungspolitik formuliert. Vor diesem Hintergrund hat der Abbau sozialer Ungleichheiten auch in der deutschen Entwicklungszusammenarbeit an Relevanz gewonnen. Um Projekte der deutschen EZ auf ihre Wirkung auf soziale Ungleichheiten zu evaluieren, ist die Entwicklung von spezifischen und validen Indikatoren zentraler Ausgangspunkt.
Das CEval hat eine Zusammenstellung von Indikatoren zur Messung sozialer Ungleichheit erarbeitet und eine Systematik entwickelt, die Indikatoren nach vertikalen und horizontalen Ungleichheitsdimensionen, Sektoren und Handlungsebenen strukturiert. Darüber hinaus wurden relevante Indikatoren an den Kontext der deutschen Entwicklungszusammenarbeit adaptiert und für die Projektarbeit der GIZ in den Partnerländern nutzbar gemacht.
Meta-Evaluation von CoE Projekt- und Programmevaluationen (2016-2019)
Im Rahmen seiner Qualitätssicherung von dezentralen Evaluierungsberichten hatte der Europarat die CEval GmbH beauftragt, eine Stichprobe von 32 dezentralen Evaluierungsberichten, die von verschiedenen der Hauptverwaltungseinheiten des Europarates für den Zeitraum 2016-2019 erstellt wurden, einer unabhängigen Qualitätskontrolle zu unterziehen. Übergeordnetes Ziel dieser Bestandsaufnahme war es, die Errichtung eines Bewertungsrahmens und die Gestaltung eines Qualitätssicherungssystems für den Europarat zu unterstützen.
Dementsprechend gibt der Qualitäts-Check Auskunft darüber, in welchem Ausmaß die dezentralen Evaluierungen allgemein anerkannten internationalen Qualitätsstandards entsprechen, und gibt Empfehlungen, welche Aspekte verbessert werden sollten. Außerdem liefert er eine Gesamtbewertung der wichtigsten Stärken und Schwächen der dezentralen Evaluierungsberichte; ermittelt die wichtigsten Ergebnisse, Empfehlungen und Erfahrungen zum Aufbau institutioneller Kapazitäten im Europarat; und gibt schließlich Empfehlungen für die Schaffung eines Rahmens für die Qualitätssicherung. Die Bewertung wurde auf Grundlage eines Analyserasters durchgeführt, welches alle relevanten Bewertungskriterien und -indikatoren sowie detaillierte Leitlinien enthält, um die Inter-Rater-Reliabilität sicherzustellen und somit eine maximale Objektivität der Ergebnisse zu gewährleisten.
Sektor-Evaluierung der Klimaprojekte im Rahmen der BMZ-Sonderinitiative Klima der Hanns-Seidel-Stiftung e.V. 2019
Die Hanns-Seidel-Stiftung (HSS) bezieht seit 2011 Mittel aus der Sonderinitiative Klima des BMZ und führt seitdem Projektmaßnahmen in zahlreichen Ländern im Bereich Klima, Umwelt und Energie durch. Mit den Maßnahmen in dem Bereich soll ein Beitrag zum Umwelt- und Naturschutz insgesamt geleistet werden sowie zur Bekämpfung des und Anpassung an den Klimawandel, zur nachhaltigen Energieversorgung und Ressourceneffizienz sowie zur nachhaltigen und umweltbewussten Land- und Forstwirtschaft. Formativ wurde aus dem Kontext der aktuellen Auslandsarbeit der Hanns-Seidel-Stiftung in den Themenbereichen Klima-Umwelt-Energie (KUE) und deren internationalen Lösungsversuchen, eine grundlegende Strategie erarbeitet. Diese wurde am Beispiel von drei Projekten in den Ländern Indien, Bolivien und Namibia von der CEval GmbH evaluiert.
Methodisch gesehen beinhaltete die Evaluation einen theoriebasierten Anteil, welcher in der Rekonstruktion der Theories of Change (ToC) der drei Projekte bestand. Außerdem wurden die drei ausgewählten Projekte auf Projektebene evaluiert, wofür Feldphasen in allen drei Ländern durchgeführt wurden und Interviews mit Partnern und Zielgruppen geführt wurden. Zudem beinhaltete die Evaluation einen Syntheseteil, welcher sich auf die Klimastrategie der Hanns-Seidel-Stiftung allgemein bezog und in welchem die Ergebnisse aus den Evaluationen der drei Projekte gebündelt und mit Informationen aus der Zentrale der HSS in München ergänzt wurden.
Rapid Appraisals für zwei Moringa-Investitionen
Moringa SCA SICAR ist ein Private-Equity-Fonds, der gegründet wurde als Reaktion auf das wachsende Interesse des Finanz- und Entwicklungssektors an Investitionen, die gleichzeitig eine finanzielle, ökologische und soziale Rendite bieten. Moringa konzentriert sich auf Investitionen in die Agroforstwirtschaft in afrikanischen und lateinamerikanischen Entwicklungs- und am wenigsten entwickelten Ländern. Moringa implementiert agroforstwirtschaftliche Landnutzungssysteme auf kommerzieller Basis mit einem kommerziellen Investitionsansatz, wobei eine große Anzahl benachbarter Kleinbauern und Verarbeiter durch vertragliche Vereinbarungen in das Geschäftsmodell integriert werden. Die Agroforstwirtschaftliche Technische Unterstützungsfazilität (ATAF) wurde von Moringa Partnership eingerichtet, um technische Unterstützung für Investitionen des Fonds zu leisten, mit dem Ziel, die positiven ökologischen und sozialen Auswirkungen, die durch Moringa-Investitionen ausgelöst werden, zu verstärken.
Die CEval GmbH hat Baseline Rapid Appraisals für zwei Moringa Investments durchgeführt. Dabei lag der Fokus auf der Lebenssituation der Landwirte und anderer relevanter Zielgruppen, wie z.B. Fabrikarbeiter. Methodisch folgten die Rapid Appraisals einem Mixed-Methods-Ansatz, welcher eine kleine Umfrage bei den Landwirten für jedes Rapid Appraisal sowie Interviews mit den relevanten Stakeholdergruppen beinhaltete. Die Rapid Appraisals wurden für Moringa-Investitionen in Benin und Togo durchgeführt.
