Entwicklungszusammenarbeit

Zentrale Projektevaluierung: Agribusiness Facilities for Africa

Das Projekt Agribusiness Facilities for Africa (ABF) dient als panafrikanische Wissens- und Beratungs-Hub für Schulungen im Bereich der Agrarwirtschaft und hat mit Partnern in rund 30 Ländern auf dem gesamten Kontinent zusammengearbeitet. Mit dem Ziel, die Wirksamkeit privater und öffentlicher Fördermaßnahmen für landwirtschaftliche Kleinst-, Klein- und mittler Betriebe (KKMU) in Afrika zu verbessern, entwickelt ABF Schulungskonzepte für Landwirte und Verarbeiter, die den spezifischen Bedürfnissen ihrer Partner entsprechen. Die Farmer Business School (FBS) vermittelt Landwirten und Produzenten Prinzipien der Landwirtschaft als Business und verspricht, die Managementfähigkeiten von KKMU für bessere und diversifizierte Einkommen und Ernährung zu stärken. Weitere von der ABF angebotene Ausbildungsmodule sind die Processor Business School (PBS), die Cooperative Business School (CBS) und die erst kürzlich entwickelte Aquaculture Business School (ABS).

Die Evaluation erfolgte nach den Vorgaben und Leitlinien für zentrale Projektevaluierungen der GIZ, die ein standardisiertes Analyseraster (Evaluationsmatrix) beinhalten, das auf den OECD-DAC Kriterien (Relevanz, Kohärenz, Effizienz, Effektivität, Impact, Nachhaltigkeit) aufbaut. Das Evaluierungsteam wendet qualitative Methoden zur Datenerhebung und -analyse an. Für die Primärdatenerhebung werden semi-strukturierte Interviews und Fokusgruppendiskussionen (FGDs) durchgeführt. Während einer dreiwöchigen Feldstudie in Uganda, Sambia und Malawi wird das Evaluierungsteam Partnerprojekte der ABF besuchen, um die Umsetzung und die Auswirkungen der FBS-, CBS- und ABS-Trainingskonzepte vor Ort zu untersuchen. Auf der Grundlage der schriftlichen Transkripte der Interviews, der FGDs und der umfangreichen Projektunterlagen wird eine qualitative Inhaltsanalyse durchgeführt. Hinsichtlich der Prüfung von Kausalzusammenhängen zwischen Projektaktivitäten und potentiellen Wirkungen wird ein kontributionsanalytischer Ansatz verfolgt.

Evaluation des Diakonie Katastrophenhilfe Indonesien-Programms 2018-2023

Das DKH-Programm für Indonesien wurde unmittelbar nach den drei großen Naturkatastrophen ins Leben gerufen, die sich 2018 in Lombok (Erdbeben), Zentralsulawesi (Erdbeben und Tsunami) und in der Sundastraße (Tsunami) ereigneten. Das Programm bestand aus acht Einzelprojekten, die von zwei indonesischen Partnerorganisationen in fünf Provinzen umgesetzt wurden und umfasste unmittelbare Nothilfemaßnahmen, Wiederaufbauhilfe und Aktivitäten zur Stärkung des Katastrophenschutzes mit Schwerpunkt auf der Inklusion von Menschen mit Behinderungen und der Priorisierung der am stärksten gefährdeten Gruppen. CEval wurde beauftragt, eine unabhängige Bewertung des Programms auf der Grundlage der OECD-DAC-Kriterien vorzunehmen.

Die Evaluation baute auf der umfassenden Beteiligung der Stakeholder sowie auf einem mixed-methods und theoriebasiertem Ansatz auf. Hierfür wurde eine umfassende Theory of Change (ToC) auf Programmebene und eine detaillierte Evaluationsmatrix entwickelt. Eine Systematic Review von Projektdokumenten wurde mit einer dreiwöchige Vor-Ort-Studie in Indonesien kombiniert. Die Systamatic Review zur Aggregation von Monitoringdaten und wirkungsrelevanten Informationen wurde auf der Basis eines standardisierten Bewertungsraster durchgeführt. Während der Vor-Ort-Studie führte das Evaluationsteam 29 Interviews und 29 Fokusgruppendiskussionen mit Programm- und Projektmitarbeitern, lokalen Behörden und Zielgruppen durch. Die Primärdaten wurden auf der Basis der qualitativen Inhaltsanalyse ausgewertet. Die Ergebnisse wurden in einem umfassenden Evaluierungsbericht dokumentiert und in mehreren Workshops vorgestellt.

Evaluierung der EU-Innenfonds: Halbzeitevaluierungen des Inneren Sicherheitsfonds (ISF) und des Instruments für finanzielle Hilfe im Bereich Grenzverwaltung und Visumpolitik (BMVI)

Die Europäische Kommission (EU KOM) stellt unter Verantwortung der Generaldirektion Migration und Inneres (DG HOME) den Inneren Sicherheitsfonds (ISF; verwaltet durch das Bundkriminalamt (BKA)), das Instrument für finanzielle Hilfe im Bereich Grenzverwaltung und Visumpolitik (Border Management and Visa Instrument, BMVI, verwaltet durch die Bundespolizei) sowie den Asyl-, Migrations- und Integrationsfonds (AMIF, verwaltet durch das Bundesamt für Migration und Flüchtlinge (BAMF)) zur Verfügung. Diese bilden zusammen die so genannten „Innenfonds“ (Home Affairs Funds).

Die Mitgliedstaaten sind verpflichtet, für die EU-KOM Halbzeit- und Endevaluierungen über die Durchführung der aus den einzelnen Fonds finanzierten Maßnahmen und den Grad der Zielerreichung der nationalen Programme, die aus den Innenfonds gefördert werden, zu erstellen. Nutzer:innen der Evaluierungen sind insbesondere EU (DG Home), die fondsverwaltenden Behörden BKA, BPOL und BAMF sowie deren Begleitausschüsse.

Ziel der Evaluierungen ist eine Erfolgsbewertung der Ergebnisse und Wirkungen der aus den Innenfonds kofinanzierten Programme und Maßnahmen auf Basis der Kriterien Wirksamkeit, Effizienz, Relevanz, Kohärenz und EU-Mehrwert. Insbesondere die Kohärenz zwischen den einzelnen Fonds ist dabei von Interesse. Neben der Erfolgsbewertung sollen die Evaluierungen auch Empfehlungen zur Verbesserung der Qualität der Gestaltung und Umsetzung der nationalen Programme erarbeiten sowie zur Kohärenz und Nutzung von Synergiepotentialen zwischen den einzelnen Fonds analysieren.

Nachdem die Gesellschaft für Internationale Zusammenarbeit (GIZ) 2017 im Auftrag des BKA die Halbzeitevaluierung für den ISF durchgeführt hat, wurde sie nun erneut mit der Durchführung der Endevaluierung des ISF für die Förderperiode 2014-2020 sowie mit der Halbzeitevaluierung des ISF, des BMVI und des AMIF mit der Förderperiode 2021-2027 beauftragt.

Im Zuge dessen hat die GIZ die CEval GmbH damit beauftragt, die
> Endevaluierung des ISF, Teilbereich Sicherheit und Teilbereich Grenze, Förderperiode 2014-2021,
> Halbzeitevaluierung des ISF, aktuelle Förderperiode 2021-2027 sowie
> Halbzeitevaluierung des BMVI, aktuelle Förderperiode 2021-2027
durchzuführen.

Im Sinne einer Quellen- und Methodentriangulation kommen verschiedene Erhebungsverfahren zur Anwendung:
> Recherche sämtlicher relevanter Programm- und Projektdokumente sowie von Monitoringdaten,
> Teilstandardisierte Online-Erhebung mit Projektnehmer*innen und deren Implementierungspartner:innen sowie weiteren potentiell Antragsberechtigten und
> Leitfadengestützte qualitative Interviews mit Programm- und Projektverantwortlichen.

Systemevaluierung des Evaluierungssystems der ‚Internationalen Zusammenarbeit‘ der Physikalisch-Technischen Bundesanstalt

Im Jahr 2021 wurde die CEval GmbH von der Physikalisch-Technischen Bundesanstalt (PTB) mit einer Systemevaluierung beauftragt. Übergeordnetes Ziel war eine strategische Weiterentwicklung des Evaluationssystems der PTB. Relevante Punkte des Analyserasters und der Evaluationsfragen waren:
1. Evaluationspolitik, Ziele, Strategien und Kriterien der Evaluation
2. Planung und Ablauf von Evaluationen, Steuerungsprozesse, Formen und Umfang der Evaluationen, Finanzressourcen, Verhältnis zum Gesamtbudget
3. Standards der Evaluation, Qualitätssicherungssystem, Wirkungsorientierung, Methodische Qualität
4. Verankerung der Evaluation in der Organisation, Unabhängigkeit der Evaluation, Glaubwürdigkeit der Evaluation
5. Personalkapazität, Qualifizierung, Gutachter, Weiterbildung, Vernetzung mit der Fachgemeinschaft
6. Nutzung von Evaluationsergebnissen (Prozesse der Nutzung, Produkte der Evaluation, Verbreitung der Ergebnisse, Wissensmanagementsystem)

Methodisch wurden hierfür verschiedene Datenquellen, wie Dokumente und Evaluationsberichte, mit einbezogen und 28 leitfadengestützte qualitative Interviews, sowie eine Gruppendiskussion durchgeführt.

Pilot EZ-Programmevaluierung Nachhaltige wirtschaftliche Entwicklung – Förderung von Jugendbeschäftigung und Beruflicher Bildung in Kenia

Zukünftig sollen Evaluierungen von Programmen in der Entwicklungszusammenarbeit (EZ) politisch steuerungsrelevante Erkenntnisse liefern, insbesondere zur Aufstellung und Abstimmung von EZ-Projekten sowie ihrem Zusammenwirken in einem Sektor oder einer Region. Zur Entwicklung eines entsprechenden Formats für EZ-Programmevaluierungen wurden im Rahmen der Pilot-Evaluierung des EZ-Programms „Nachhaltige wirtschaftliche Entwicklung – Förderung von Jugendbeschäftigung und Beruflicher Bildung in Kenia“ Erfahrungen gesammelt und anschließend systematisch aufbereitet.

Bei der Evaluierung kam ein theoriebasierter Ansatz zur Anwendung, mittels dessen Annahmen über kausale Zusammenhänge zwischen den erbrachten Leistungen, den Zielen der einzelnen Projekte sowie dem Gesamtziel des Programms empirisch überprüft wurden. Die Ergebnisse fußen dabei auf Einzel- und Gruppeninterviews mit Programm- und Projektverantwortlichen, Partnerorganisationen sowie mit Zielgruppenvertreter:innen. Weiterhin wurde die Programm- und Projektberichterstattung einer qualitativen Inhaltsanalyse unterzogen.

Entwicklungen des Fairen Handels und der Fairen Beschaffung in Deutschland 2015-2022. Aktualisierte Fassung der Studie ‚Verändert der Faire Handel die Gesellschaft?‘

Im Jahr 2015 beauftragten tragende Akteure der Fair-Handels-Bewegung in Deutschland eine Studie zu den Wirkungen des Fairen Handels in Deutschland, welche von der CEval GmbH durchgeführt wurde. Dabei wurden die Wirkungen des Fairen Handels und der zivilgesellschaftlichen Fair-Handels-Bewegung in vier gesellschaftlichen Bereichen untersucht: Zivilgesellschaft, Konsument:innen, Handel und Hersteller sowie Politik und öffentlicher Sektor. Seit 2015 hat sich nicht nur der Faire Handel selbst weiterentwickelt, sondern auch die Rahmenbedingungen, in denen er agiert. Hierzu zählen insbesondere auch die Rahmenbedingungen für eine faire öffentliche Beschaffung.
Vor diesem Hintergrund haben Fairtrade Deutschland und Engagement Global Service für Entwicklungsinitiativen gGmbH mit der Servicestelle Kommunen in der Einen Welt und in Kooperation mit dem Forum Fairer Handel und dem Weltladen-Dachverband die CEval GmbH mit der Durchführung einer aktualisierten und erweiterten Fassung der 2015er Studie beauftragt. Ziel war es, die Wirkungen des Fairen Handels in Deutschland zwischen 2016 und 2022 unter den veränderten Rahmenbedingungen zu untersuchen und dabei auch die gewachsene Rolle der Kommunen für Fairen Handel und faire Beschaffung zu berücksichtigen. Aufbauend auf den Erkenntnissen der Studie wurden Empfehlungen dafür abgeleitet, wie das Engagement im Fairen Handel und bezüglich der fairen öffentlichen Beschaffung noch wirksamer gestaltet werden kann.
In methodischer Hinsicht knüpfte die Studie an die Herangehensweise der Vorgängerstudie an und wählte einen qualitativen kontributionsanalytischen Ansatz. Ausgehend von einer sogenannten Theorie des Wandels fand eine hypothesengeleitete Untersuchung der vom Fairen Handel angestrebten Veränderungen in den jeweiligen Untersuchungsbereichen sowie eine Analyse des Beitrags der Fair-Handels-Bewegung zu diesen Veränderungen statt. Hierbei kam ein Mix qualitativer und quantitativer Erhebungs- und Auswertungsmethoden zum Einsatz. Den Ausgangspunkt bildete eine umfassende Analyse bestehende Literatur und Sekundärdaten, welche durch die Erhebung empirischer Daten mittels leitfadengestützter Expert:inneninterviews, (Fokus-)Gruppendiskussionen und einer teilstandardisierten Erhebung ergänzt wurde.

Zentrale Projektevaluierung: Sektorvorhaben Bodenschutz, Desertifikationsbekämpfung, Nachhaltiges Landmanagement

Das Sektorvorhaben Bodenschutz, Desertifikationsbekämpfung, nachhaltiges Landmanagement unterstützte das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) in seiner Rolle als Unterzeichner des Übereinkommens der Vereinten Nationen zur Bekämpfung der Wüstenbildung (UNCCD) und beriet es zu nachhaltigem Landmanagement, Bodenschutz und Klimafolgen. Darüber hinaus erprobte und implementierte das Projekt mit Partnern in Indien und Kenia Ansätze zur Nutzung von Bodenschutzmaßnahmen für den Klimaschutz. Dazu gehörten die Umsetzung eines Kohlenstoffzertifizierungssystems in Kenia und Studien zu den Klimaauswirkungen nachhaltiger Landbewirtschaftungsmethoden in Indien. Die daraus gewonnenen Erfahrungen und Erkenntnisse sollten die Verbreitung auf nationaler und internationaler Ebene aufbereitet werden.

Die Evaluation erfolgte nach den Vorgaben und Leitlinien für zentrale Projektevaluierungen der GIZ, die ein standardisiertes Analyseraster (Evaluationsmatrix) beinhalteten, das auf den OECD-DAC Kriterien (Relevanz, Kohärenz, Effizienz, Effektivität, Impact, Nachhaltigkeit) aufbaute. Während eines zehntägigen Feldaufenthaltes in Kenia führte das Evaluationsteam Interviews und Fokusgruppendiskussionen mit verschiedenen Stakeholdern des Zertifizierungssystems und den teilnehmenden Kleinbauern. Die Datenerhebung in Indien wurde remote implementiert (Online-Interviews). Hinsichtlich der Prüfung von Kausalzusammenhängen zwischen Projektaktivitäten und potenziellen Wirkungen wurde ein kontributionsanalytischer Ansatz verfolgt.

Meta-Evaluation von dezentralen Programm- und Projektevaluationen des Finnischen Außenministeriums 2017-2020

Das finnische Außenministerium beauftragte erneut das CEval, zusammen mit Particip und NIRAS, eine Meta-Evaluation seiner dezentralen Evaluationen von Programmen und Projekten in der Entwicklungszusammenarbeit im Zeitraum 2017-2020 durchzuführen. Zielsetzung dieser Meta-Evaluation war es, in Fortführung und Ergänzung zu früheren Meta-Evaluationen mehr über die Nutzung und Nützlichkeit dezentralisierter Evaluationen zu lernen, zu untersuchen, welche Entwicklungen seit der letzten Meta-Evaluierung stattgefunden haben, sowie zu untersuchen, ob die Qualität der Evaluationen und Entwicklungsergebnisse weiter gestiegen ist. Diese Meta-Evaluation ist außerdem für zwei „Neuerungen“ in der Meta-Evaluationspraxis des finnischen Außenministeriums verantwortlich. Sie ist die erste, die die Methodik der vorherigen Meta-Evaluation repliziert und dadurch einen zulässigen Vergleich der Ergebnisse erlaubt. Außerdem ist sie die erste Meta-Evaluation, die die Perspektive der Hauptnutzer:innen von Evaluationen mit einbezieht, um die Anwendung und Nützlichkeit dezentraler Evaluationen zu bewerten. Um den Erkenntnissen der letzten Meta-Evaluation gerecht zu werden, wurden zudem zusätzliche Merkmale in den Analysen berücksichtigt und die Analysewerkzeuge entsprechend angepasst. Insgesamt verfolgte die Meta-Evaluierung einen Multimethodenansatz, der qualitative und quantitative Auswertungen von Sekundär- und Primärdaten vereint, um evidenzbasierte Erkenntnisse, Rückschlüsse und Empfehlungen für jede der folgenden drei Komponenten zu gewinnen:

Komponente 1 – Meta-Evaluationen von 80 unabhängigen Evaluierungen zur Bewertung der Qualität der Methodik der Evaluierungsberichte und der entsprechenden ToRs. Die aktuelle Meta-Evaluation wurde auch mit der vorherigen Meta-Evaluation verglichen, um Unterschiede und Trends zu identifizieren sowie bestehende Herausforderungen hinsichtlich der Evaluation Capacity innerhalb des finnischen Außenministeriums auszumachen.

Komponente 2 – Inhaltliche Bewertung von 72 Evaluierungsberichten, die minimalen Qualitätsstandards entsprachen, zur Beurteilung der Qualität der Interventionen insgesamt. Die Bewertung betrachtet die Qualität der Interventionen nach OECD-DAC-Kriterien, die Berücksichtigung von Querschnittszielen (CCOs), das heißt (1) Geschlechtergerechtigkeit, (2) Nicht-Diskriminierung mit Fokus auf Inklusion von Menschen mit Behinderungen und (3) Klimaresilienz, sowie des menschenrechtsbasierten Ansatzes (HRBA) und der finnischen Schwerpunktbereiche (PPAs). Außerdem wurde eine qualitative Synthese der Erkenntnisse und der Empfehlungen den Evaluator:innen zur Verbesserung der Qualität der finnischen Entwicklungszusammenarbeit durchgeführt.

Komponente 3 – Auf Basis von Primärdaten aus 26 Interviews mit und 119 Surveyantworten von Mitarbeiter:innen des finnischen Außenministeriums und Projektverantwortlichen, die die Maßnahmen umsetzten, wurde die Nutzung und Nützlichkeit der Evaluationen bewertet. Die Interview- und Surveydaten lieferten Erkenntnisse hinsichtlich hilfreicher und hinderlicher Faktoren zur Nützlichkeit von Evaluationen. Aus den Erfahrungsberichten der Interviewten ließen sich zudem Empfehlungen zur Verbesserung der Nützlichkeit ableiten.

Zentrale Projektevaluierung: Sektorvorhaben Nachhaltigkeitsstandards und öffentlich-private Verantwortung

Das Sektorvorhaben „Nachhaltigkeitsstandards und öffentlich-private Verantwortung“ hat das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung hinsichtlich der Schaffung günstiger regulativer Rahmenbedingung in Deutschland für die Umsetzung von Nachhaltigkeitsstandards in globalen Lieferketten beraten. Darüber hinaus war das Projekt für die Entwicklung mehrerer Online-Plattformen mit Informationen zu unternehmerischen Sorgfaltspflichten und Nachhaltigkeits-Siegeln, die sich an kleine und mittelständische Unternehmen (KMU-Kompass), öffentliche Beschaffer (kompass-nachhaltigkeit.de) und private Verbraucher (siegelklarheit.de) richten, verantwortlich.

Zentrale Projektevaluierung: Sektorvorhaben Meeresschutz

Als Mitglied der Vereinten Nationen hat sich Deutschland zu internationalen Zielen zum Meeresschutz verpflichtet (z.B. SDG 14 „Leben unter Wasser“ und UN Biodiversitätskonventionen von 1992). Das Sektorvorhaben Meeresschutz beriet das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) hinsichtlich der Wahrnehmung seiner Rolle in (inter-)nationalen Politikprozessen zum Meeresschutz, hinsichtlich der Ausrichtung und Weiterentwicklung des meeresschutzrelevanten Projekt-Portfolios, hinsichtlich des Setzens neuer politische Akzente und im Bereich der Öffentlichkeitsarbeit zu Themen des Meeresschutzes. Das Ziel des Sektorvorhabens war es, das BMZ durch fachliche Zulieferungen, Analysen bei der Gestaltung von Politik- und Umsetzungsprozessen, die dem Meeresschutz dienen, zu unterstützten.

Die Evaluation des Sektorvorhabens erfolgte nach den Vorgaben und Leitlinien für zentrale Projektevaluationen der GIZ, die ein standardisiertes Analyseraster (Evaluationsmatrix) beinhalten, das auf den OECD-DAC Kriterien (Relevanz, Kohärenz, Effizienz, Effektivität, Impact, Nachhaltigkeit) basiert. Als Erhebungsinstrumente wurden semi-strukturierte Leitfadeninterviews eingesetzt. Hinsichtlich der Prüfung von Kausalzusammenhängen zwischen Projektaktivitäten und potenziellen Wirkungen wurde ein kontributionsanalytischer Ansatz verfolgt.