Begleitende Evaluation, Capacity Development, Entwicklung M&E-System, Wirkungsevaluation
Projektstart: Januar 2021
Projektende: Dezember 2023
Wissenschaftliche M&E-Begleitung von zwei WaSH-Projekten in Äthiopien und Kenia
[Mehr anzeigen]Die Knorr-Bremse Global Care e.V. (KBGC) plant die Umsetzung zweier WASH-Projekte in Äthiopien und Kenia. Gemeinsames Ziel der beiden Vorhaben ist die Reduktion von Sterblichkeits- und Krankheitsraten durch wasserverbundene Krankheiten. Hierfür ist eine Reihe von, an die Rahmenbedingungen in den jeweiligen Umsetzungsregionen angepasste Maßnahmen geplant, wie bspw. zur Verbesserung des Zugangs zu sauberem Wasser, zur Steigerung des Wissens und der Kompetenzen der beteiligten Akteure, zur Rehabilitation sanitärer Einrichtungen, zur Verbreitung energieeffizienterer Öfen, zur Gesundheitsaufklärung sowie schließlich zu Einstellungs- und Verhaltensänderungen bei den Zielgruppen. Dadurch soll ein Beitrag zur Verbesserung der allgemeinen Lebensbedingungen der Zielgruppen geleistet werden.
Die CEval GmbH übernimmt die wissenschaftliche Begleitung des Monitorings und der Evaluation der beiden Projekte, mit dem Ziel, deren Wirksamkeit zu erfassen. Die Umsetzung erfolgt in enger Zusammenarbeit mit nationalen Gutachtern in beiden Ländern. Die Evaluation der Projekte wird in erster Linie von diesen direkt vor Ort durchgeführt, während die CEval GmbH die Erstellung des Evaluationsdesigns und Methodenkonzepts, die Schulung der Monitoringverantwortlichen sowie Begleitung des gesamten Prozesses übernimmt.
Management: Stefan Silvestrini | Mitarbeiter:innen: Teresa Böttcher, Anne Meysing, Julie NgoAuftraggeber: Knorr-Bremse Global Care
Begleitende Evaluation, Wirkungsevaluation
Projektstart: April 2022
Projektende: August 2023
Entwicklungen des Fairen Handels und der Fairen Beschaffung in Deutschland 2015-2022. Aktualisierte Fassung der Studie ‚Verändert der Faire Handel die Gesellschaft?‘
[Mehr anzeigen]Im Jahr 2015 beauftragten tragende Akteure der Fair-Handels-Bewegung in Deutschland eine Studie zu den Wirkungen des Fairen Handels in Deutschland, welche von der CEval GmbH durchgeführt wurde. Dabei wurden die Wirkungen des Fairen Handels und der zivilgesellschaftlichen Fair-Handels-Bewegung in vier gesellschaftlichen Bereichen untersucht: Zivilgesellschaft, Konsument:innen, Handel und Hersteller sowie Politik und öffentlicher Sektor. Seit 2015 hat sich nicht nur der Faire Handel selbst weiterentwickelt, sondern auch die Rahmenbedingungen, in denen er agiert. Hierzu zählen insbesondere auch die Rahmenbedingungen für eine faire öffentliche Beschaffung.
Vor diesem Hintergrund haben Fairtrade Deutschland und Engagement Global Service für Entwicklungsinitiativen gGmbH mit der Servicestelle Kommunen in der Einen Welt und in Kooperation mit dem Forum Fairer Handel und dem Weltladen-Dachverband die CEval GmbH mit der Durchführung einer aktualisierten und erweiterten Fassung der 2015er Studie beauftragt. Ziel war es, die Wirkungen des Fairen Handels in Deutschland zwischen 2016 und 2022 unter den veränderten Rahmenbedingungen zu untersuchen und dabei auch die gewachsene Rolle der Kommunen für Fairen Handel und faire Beschaffung zu berücksichtigen. Aufbauend auf den Erkenntnissen der Studie wurden Empfehlungen dafür abgeleitet, wie das Engagement im Fairen Handel und bezüglich der fairen öffentlichen Beschaffung noch wirksamer gestaltet werden kann.
In methodischer Hinsicht knüpfte die Studie an die Herangehensweise der Vorgängerstudie an und wählte einen qualitativen kontributionsanalytischen Ansatz. Ausgehend von einer sogenannten Theorie des Wandels fand eine hypothesengeleitete Untersuchung der vom Fairen Handel angestrebten Veränderungen in den jeweiligen Untersuchungsbereichen sowie eine Analyse des Beitrags der Fair-Handels-Bewegung zu diesen Veränderungen statt. Hierbei kam ein Mix qualitativer und quantitativer Erhebungs- und Auswertungsmethoden zum Einsatz. Den Ausgangspunkt bildet eine umfassende Analyse bestehende Literatur und Sekundärdaten, welche durch die Erhebung empirischer Daten mittels leitfadengestützter Expert:inneninterviews, (Fokus-)Gruppendiskussionen und einer teilstandardisierten Erhebung ergänzt wurde.
Management: Sandra Bäthge | Mitarbeiter:innen: Stefan Silvestrini, Maja Flaig, Katharina HaryEx-Post und Schlussevaluation, Wirkungsevaluation
Projektstart: März 2022
Projektende: Februar 2023
Zentrale Projektevaluation des Sektorvorhabens „Nachhaltigkeitsstandards und öffentlich-private Verantwortung“
[Mehr anzeigen]Das Sektorvorhaben „Nachhaltigkeitsstandards und öffentlich-private Verantwortung“ hat das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung hinsichtlich der Schaffung günstiger regulativer Rahmenbedingung in Deutschland für die Umsetzung von Nachhaltigkeitsstandards in globalen Lieferketten beraten. Darüber hinaus war das Projekt für die Entwicklung mehrerer Online-Plattformen mit Informationen zu unternehmerischen Sorgfaltspflichten und Nachhaltigkeits-Siegeln, die sich an kleine und mittelständische Unternehmen (KMU-Kompass), öffentliche Beschaffer (kompass-nachhaltigkeit.de) und private Verbraucher (siegelklarheit.de) richten, verantwortlich.
Die CEval GmbH wurde von der GIZ beauftragt das Sektorvorhaben zu evaluieren. Die Evaluation erfolgte nach den Vorgaben und Leitlinien für zentrale Projektevaluationen der GIZ, die ein standardisiertes Analyseraster (Evaluationsmatrix) beinhalten, das auf den OECD-DAC Kriterien (Relevanz, Kohärenz, Effizienz, Effektivität, Impact, Nachhaltigkeit) aufbaut. Das CEval-Team verfolgte einen mixed-methods Ansatz der qualitativen und quantitativen Instrumente und Analyseverfahren kombinierte. Zum Einsatz kamen semi-strukturierte Leitfadeninterviews, Fokusgruppendiskussionen und ein Online-Survey. Hinsichtlich der Prüfung von Kausalzusammenhängen zwischen Projektaktivitäten und potentiellen Wirkungen wurde ein kontributionsanalytischer Ansatz verfolgt.
Management: Stefan Silvestrini | Mitarbeiter:innen: Janis Wicke, Katharina HaryAuftraggeber: Deutsche Gesellschaft für Internationale Zusammenarbeit
Capacity Development, Meta-Evaluation, Systemevaluation
Projektstart: Juni 2021
Projektende: März 2022
Meta-Evaluation von dezentralen Programm- und Projektevaluationen des Finnischen Außenministeriums 2017-2020
[Mehr anzeigen]Das finnische Außenministerium beauftragte erneut das CEval, zusammen mit Particip und NIRAS, eine Meta-Evaluation seiner dezentralen Evaluationen von Programmen und Projekten in der Entwicklungszusammenarbeit im Zeitraum 2017-2020 durchzuführen. Zielsetzung dieser Meta-Evaluation war es, in Fortführung und Ergänzung zu früheren Meta-Evaluationen mehr über die Nutzung und Nützlichkeit dezentralisierter Evaluationen zu lernen, zu untersuchen, welche Entwicklungen seit der letzten Meta-Evaluierung stattgefunden haben, sowie zu untersuchen, ob die Qualität der Evaluationen und Entwicklungsergebnisse weiter gestiegen ist. Diese Meta-Evaluation ist außerdem für zwei „Neuerungen“ in der Meta-Evaluationspraxis des finnischen Außenministeriums verantwortlich. Sie ist die Erste, die die Methodik der vorherigen Meta-Evaluation repliziert und dadurch einen zulässigen Vergleich der Ergebnisse erlaubt. Außerdem ist sie die erste Meta-Evaluation, die die Perspektive der Hauptnutzer*innen von Evaluationen mit einbezieht, um die Anwendung und Nützlichkeit dezentraler Evaluationen zu bewerten. Um den Erkenntnissen der letzten Meta-Evaluation gerecht zu werden, wurden zudem zusätzliche Merkmale in den Analysen berücksichtigt und die Analysewerkzeuge entsprechend angepasst. Insgesamt verfolgte die Meta-Evaluierung einen Multimethodenansatz, der qualitative und quantitative Auswertungen von Sekundär- und Primärdaten vereint, um evidenzbasierte Erkenntnisse, Rückschlüsse und Empfehlungen für jede der folgenden drei Komponenten zu gewinnen:
Komponente 1 – Meta-Evaluationen von 80 unabhängigen Evaluierungen zur Bewertung der Qualität der Methodik der Evaluierungsberichte und der entsprechenden ToRs. Die aktuelle Meta-Evaluation wurde auch mit der vorherigen Meta-Evaluation verglichen, um Unterschiede und Trends zu identifizieren sowie bestehende Herausforderungen hinsichtlich der Evaluation Capacity innerhalb des finnischen Außenministeriums auszumachen.
Komponente 2 – Inhaltliche Bewertung von 72 Evaluierungsberichten, die minimalen Qualitätsstandards entsprachen, zur Beurteilung der Qualität der Interventionen insgesamt. Die Bewertung betrachtet die Qualität der Interventionen nach OECD-DAC-Kriterien, die Berücksichtigung von Querschnittszielen (CCOs), das heißt (1) Geschlechtergerechtigkeit, (2) Nicht-Diskriminierung mit Fokus auf Inklusion von Menschen mit Behinderungen und (3) Klimaresilienz, sowie des menschenrechtsbasierten Ansatzes (HRBA) und der finnischen Schwerpunktbereiche (PPAs). Außerdem wurde eine qualitative Synthese der Erkenntnisse und der Empfehlungen den Evaluator:innen zur Verbesserung der Qualität der finnischen Entwicklungszusammenarbeit durchgeführt.
Komponente 3 – Auf Basis von Primärdaten aus 26 Interviews mit und 119 Surveyantworten von Mitarbeiter:innen des finnischen Außenministeriums und Projektverantwortlichen, die die Maßnahmen umsetzten wurde die Nutzung und Nützlichkeit der Evaluationen bewertet. Die Interview- und Surveydaten lieferten Erkenntnisse hinsichtlich hilfreicher und hinderlicher Faktoren zur Nützlichkeit von Evaluationen. Aus den Erfahrungsberichten der Interviewten ließen sich zudem Empfehlungen zur Verbesserung der Nützlichkeit ableiten.
Management: Susanne Johanna Väth | Mitarbeiter:innen: Stefan Silvestrini, Hansjörg Gaus, Maja Flaig, Janis Wicke | Kooperationspartner: NIRAS, ParticipAuftraggeber: Finnisches Außenministerium
Begleitende Evaluation, Entwicklung M&E-System
Projektstart: November 2018
Projektende: Dezember 2021
Entwicklung eines M&E-Konzepts, M&E-Unterstützung sowie Entwicklung von Lern- und Austauschformaten für die Initiative „Verbesserte Lebensperspektiven für Jugendliche im ländlichen Ostafrika“
[Mehr anzeigen]Das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ), die Deutsche Stiftung Weltbevölkerung, die Siemens Stiftung und die Hanns R. Neumann Stiftung wollen gemeinsam die Perspektiven von Jugendlichen in ländlichen Gebieten Ostafrikas verbessern. Im Rahmen der Initiative "Verbesserte Lebensperspektiven für Jugendliche im ländlichen Ostafrika" befähigen die Partner hierfür Jugendliche, Entwicklungsprozesse aktiv zu gestalten und sich in relevanten politischen Prozessen Gehör zu verschaffen. Außerdem sollen die Lebensgrundlagen der Jugendlichen durch die Erhöhung ihres Einkommens und die Verbesserung ihrer Gesundheitsversorgung verbessert werden. Damit soll auch ein Beitrag zur Bekämpfung der Ursachen von Migration geleistet werden. Die Initiative wird von drei lokalen Implementierungspartnern in Uganda umgesetzt, nämlich Action for Health Uganda, Hanns R. Neumann Stiftung Africa Ltd. und WHAVE Solutions.
Der Auftrag umfasst drei Aufgaben: die Entwicklung eines M&E-Konzepts für das Programm, die Unterstützung des Monitorings und der Evaluation des Programms durch die Durchführung von drei Untersuchungen (Baseline, Midterm und Final) und die Unterstützung des Lernens und Austauschs in der Pilotphase des Programms. Zur Erreichung dieser Ziele wird ein partizipativer Ansatz verfolgt, wobei auf eine starke Einbeziehung der verschiedenen Stakeholdergruppen, von der Planungsphase über die Datenerhebung bis hin zur Interpretation der Ergebnisse, geachtet wird. Für eine ganzheitliche Bewertung der Wirksamkeit und Nachhaltigkeit der Initiative sowie zur Validierung ihrer Interventionslogik verfolgt die Evaluation einen Multimethoden-Ansatz, basierend auf einem quantitativen quasi-experimentellen und einem qualitativen Fallstudiendesign. Während das quasi-experimentelle Design auf der Erhebung von Ziel- und Vergleichsgruppendaten von insgesamt ca. 1.000 Personen beruht, umfasst das Fallstudienkonzept Interviews und Fokusgruppendiskussionen mit Schlüsselpersonen aus den Gruppen der Implementierungspartner, Zielgruppen, örtlichen Behörden und Branchenexperten.
Management: Stefan Silvestrini | Mitarbeiter:innen: Wolfgang MeyerAuftraggeber: Deutsche Stiftung Weltbevölkerung
Entwicklung M&E-System, Ex-Ante Evaluation
Projektstart: Juni 2020
Projektende: Dezember 2021
Nachhaltige Wirtschaftsentwicklung Myanmar
[Mehr anzeigen]Gemeinsam mit dem Deutschen Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) begleitet das CEval drei Vorhaben zur Nachhaltigen Wirtschaftsentwicklung in Myanmar zur Schaffung der Voraussetzungen für deren Wirkungserfassung und Bewertung. Die Beratung trägt zur Verbesserung der Qualität, Relevanz und Vollständigkeit der Projektkonzepte und Programmbildung, einschließlich eines kohärenten Ziel- und Wirkungssystems bei. Damit werden die methodischen Voraussetzungen für einen späteren Wirkungsnachweis sichergestellt. Gegenstand des Beratungsvorhabens sind drei Projekte in den Bereichen Berufliche Bildung, Privatwirtschaftsentwicklung und Finanzsektorreform, aus denen in der Zukunft ein kohärentes Programm im Bereich der Nachhaltigen Wirtschaftsentwicklung gebildet werden soll.
Aufgabe des CEval ist es dementsprechend, gemeinsam mit dem DEval:
einen Beitrag zur Qualität, Relevanz und Vervollständigung der Projektkonzeptionen und zum Aufbau eines kohärenten Ziel- und Wirkungssystems zu leisten
Voraussetzungen für die Wirkungserfassung und Bewertung der Vorhaben zu schaffen
einen Beitrag zur Programmbildung zu leisten sowie
eine Wirkungsevaluierung umzusetzen.
Hierfür wurde ein mehrstufiges Analyse- und Beratungskonzept ausgearbeitet, das im Kern aus
der Entwicklung eines umfassenden Wirkungsmodells,
der Erarbeitung eines entsprechend vollständigen Indikatorentableaus,
der Umsetzung einer Baseline-Studie sowie
der Ausarbeitung eines wirkungsorientierten Monitoring-Systems besteht.
Management: Reinhard Stockmann | Mitarbeiter:innen: Stefan SilvestriniEntwicklung M&E-System, Ex-Ante Evaluation
Projektstart: Mai 2021
Projektende: Oktober 2021
International consultancy to conduct mapping of Early Childhood Care Development and Education (ECCDE) Centres in Eswatini
[Mehr anzeigen]Ziel dieses Auftrags ist die Unterstützung des Ministeriums für Bildung und Ausbildung in Eswatini bei der Durchführung einer Bestandsaufnahme aller frühkindlichen Betreuungs-, Entwicklungs- und Bildungsprogramme (Early Childhood Care and Development and Education, ECCDE). Das Mapping wird für alle Zentren durchgeführt, die ECCDE-Dienste anbieten (formell und informell), einschließlich der detaillierten Erfassung wichtiger Informationen über Standort, Einschreibung, Infrastruktur und die Art der angebotenen Dienstleistungen. Die Ergebnisse des ECCDE-Mappings sollen in die Entwicklung des Strategieplans für den Bildungssektor 2022 - 2034 einfließen und unter anderem die Verbesserung des Zugangs und der Qualität der ECCDE-Dienste im ganzen Land fördern.
CEval ist für die Digitalisierung des Fragebogens mit Hilfe der Software KoboCollect, die Datenbereinigung und die statistische Analyse verantwortlich.
Management: Stefan Silvestrini | Mitarbeiter:innen: Anne MeysingAuftraggeber: UNICEF
Ex-Post und Schlussevaluation, Wirkungsevaluation
Projektstart: April 2019
Projektende: Juli 2021
IKI-Einzelprojektevaluierung
[Mehr anzeigen]Die internationale Klimaschutzinitiative (IKI) fördert seit 2008 auf Projektbasis Vorhaben zu (i) Klimaschutz, (ii) Anpassung an den Klimawandel, (iii) Erhalt der Kohlenstoffsenken und (iv) Schutz der Biodiversität in Entwicklungs- und Schwellenländern. Insgesamt beinhaltet die IKI inzwischen knapp 600 Einzelprojekte und ein Fördervolumen von 2,8 Milliarden Euro. Ihr Schwerpunkt liegt dabei auf dem Klimaschutz, welcher knapp die Hälfte der Projekte umfasst. Eine erste Evaluierung, die im Zeitraum von 2010 bis 2013 durchgeführt wurde, umfasste 115 Projekte. Hier wurde eine Vollerhebung der bis 2011 abgeschlossenen oder fast abgeschlossenen Projekte durchgeführt. Dieses aktuelle Vorhaben zielt auf die Durchführung von weiteren Evaluierungen derjenigen Projekte, die bis Ende 2019 abgeschlossen werden. Die einzelnen Projektevaluierungen bestehen aus detaillierten Analysen nach den OECD DAC-Kriterien, sowie weiteren, programmspezifischen Kriterien. Dabei liegt von der Wirkungskette her der Fokus auf einer Analyse der Inputs, Outputs und Outcomes. Wirkungen auf höheren Ebenen werden nur aufgrund der zum Zeitpunkt der Evaluierungen vorliegenden belastbaren Informationen analysiert.
Management: Stefan Silvestrini | Mitarbeiter:innen: Susanne Johanna Väth, Janis WickeEx-Post und Schlussevaluation, Wirkungsevaluation
Projektstart: August 2020
Projektende: Juni 2021
Zentrale Projektevaluation des Projektes Competitive African Cashew Value Chains for Pro-Poor Growth
[Mehr anzeigen]Die Cashew-Wertschöpfungskette bietet den afrikanischen Erzeugerländern interessante Möglichkeiten, Arbeitsplätze zu schaffen, betriebliche und volkswirtschaftliche Einkommen zu steigern und die Ernährungssicherung zu verbessern. Bisher werden die Potentiale jedoch kaum genutzt. So liegen die Erträge der afrikanischen Produzenten/innen mit 300 bis 550 Kilogramm Rohnüsse pro Hektar weit hinter den Erträgen in Indien und Vietnam und die Verarbeitungskapazitäten und die Arbeitsproduktivität der Betriebe sind noch zu gering, wodurch nur ein geringer Teil der Rohnüsse in den afrikanischen Herstellerländern verarbeitet wird. Das Projekt "Competitive African Cashew Value Chains for Pro-Poor Growth" der Deutschen Gesellschaft für internationale Zusammenarbeit GmbH unterstützt den Ausbau und die Intensivierung der Cashew Wertschöpfungskette in den sechs Ländern Ländern Benin, Burkina Faso, Côte dIvoire, Ghana und Mosambik und Sierra Leone.
Das Projekt setzt dabei auf vier Handlungsebenen an: (i) die bessere Versorgung mit leistungsfähigem Pflanzgut durch Forschung und Vermehrung und Fortbildung der Produzenten/innen durch Training und Beratung, (ii) die Beratung von Verarbeitern von Cashew-Rohnüssen und Nebenprodukten zur Verbesserung der Prozesseffizienz, (iii) die Intensivierung von Geschäftsverbindungen und Austausch zwischen allen Beteiligten der Wertschöpfungskette und (iv) die Förderung der nationalen und regionalen Rahmenbedingungen durch Beratung der Fachministerien und Intensivierung des regionalen Austauschs zwischen allen Akteuren.
Die CEval GmbH wurde von der GIZ mit der zentralen Projektevaluation beauftragt. Die Evaluation wird an den OECD DAC Kriterien ausgerichtet und somit die Relevanz, Effektivität, Effizienz, Wirkung, Nachhaltigkeit und Kohärenz der Projektumsetzung prüfen. Methodisch wird die Evaluation auf den verfügbaren quantitativen Sekundärdaten des Projektes aufbauen und diese durch die Erhebung von Leitfadeninterviews und Fokusgruppendiskussionen mit Projektverantwortliche, Stakeholdern und der Zielgruppevertreter:innen erweitern. Aufgrund der derzeitigen Corona-Pandemie wird das Vorhaben als Remote-Evaluation umgesetzt. Die Evaluatoren der CEval GmbH werden mit lokalen Consultants in den Ländern Afrikas zusammenarbeiten, welche die Datenerhebung im Feld durchführen.
Management: Stefan Silvestrini | Mitarbeiter:innen: Janis WickeAuftraggeber: Deutsche Gesellschaft für Internationale Zusammenarbeit
Meta-Evaluation
Projektstart: September 2020
Projektende: März 2021
Querschnittsauswertung: Evidenzen aus Zentralen Projektevaluierungen im Bereich der Übergangshilfe
[Mehr anzeigen]Als Brücke zwischen humanitärer Hilfe und längerfristiger Entwicklungszusammenarbeit kommt der Überganghilfe, insbesondere vor dem Hintergrund weltweit zunehmender Konflikte, verstärkt Bedeutung zu.
Die Stabstelle Evaluierung der Deutschen Gesellschaft für internationale Zusammenarbeit GmbH (GIZ) hat infolgedessen die CEval GmbH beauftragt eine Evaluationssynthese von Vorhaben der Überganghilfe, welche im Zeitraum von Januar 2013 bis April 2021 durchgeführt wurden bzw. werden, vorzunehmen.
Gegenstand dieser Evaluierungssynthese sind neun zentrale Projektevaluierungen (ZPE) von Übergangshilfe-Projekten und eine ZPE eines regionalen EU-kofinanzierten Projekts mit ähnlichen thematischen Prioritäten, die in vier Ländern durchgeführt wurden. Die Evaluierung umfasst somit diverse Länder und Regionen: Südsudan, Somalia, Haiti, Ukraine, Irak, Türkei, Libanon und Jordanien. Zusätzlich zu den ZPEs wird die Synthese auf Basis der von Interviews mit Projektverantwortlichen und, wenn möglich, mit den entsprechenden Evaluator:innen erstellt. Ziel ist es, übergangshilfe- und kontextspezifischen Erfolgs- und Misserfolges zu identifizieren und systematisch zusammenzusammen sowie entsprechende Handlungsempfehlungen daraus abzuleiten. Methodisch liegt der Synthese ein Mixed- Method Ansatz zu Grunde, bestehend aus einer Kombination aus qualitativer Inhaltsanalyse und QCA (Fuzzy- set qualitative comparative analysis).
Management: Stefan Silvestrini | Mitarbeiter:innen: Susanne Johanna Väth, Anne MeysingAuftraggeber: Deutsche Gesellschaft für Internationale Zusammenarbeit
