Entwicklungen des Fairen Handels und der Fairen Beschaffung in Deutschland 2015-2022. Aktualisierte Fassung der Studie ‚Verändert der Faire Handel die Gesellschaft?‘
Im Jahr 2015 beauftragten tragende Akteure der Fair-Handels-Bewegung in Deutschland eine Studie zu den Wirkungen des Fairen Handels in Deutschland, welche von der CEval GmbH durchgeführt wurde. Dabei wurden die Wirkungen des Fairen Handels und der zivilgesellschaftlichen Fair-Handels-Bewegung in vier gesellschaftlichen Bereichen untersucht: Zivilgesellschaft, Konsument:innen, Handel und Hersteller sowie Politik und öffentlicher Sektor. Seit 2015 hat sich nicht nur der Faire Handel selbst weiterentwickelt, sondern auch die Rahmenbedingungen, in denen er agiert. Hierzu zählen insbesondere auch die Rahmenbedingungen für eine faire öffentliche Beschaffung.
Vor diesem Hintergrund haben Fairtrade Deutschland und Engagement Global Service für Entwicklungsinitiativen gGmbH mit der Servicestelle Kommunen in der Einen Welt und in Kooperation mit dem Forum Fairer Handel und dem Weltladen-Dachverband die CEval GmbH mit der Durchführung einer aktualisierten und erweiterten Fassung der 2015er Studie beauftragt. Ziel war es, die Wirkungen des Fairen Handels in Deutschland zwischen 2016 und 2022 unter den veränderten Rahmenbedingungen zu untersuchen und dabei auch die gewachsene Rolle der Kommunen für Fairen Handel und faire Beschaffung zu berücksichtigen. Aufbauend auf den Erkenntnissen der Studie wurden Empfehlungen dafür abgeleitet, wie das Engagement im Fairen Handel und bezüglich der fairen öffentlichen Beschaffung noch wirksamer gestaltet werden kann.
In methodischer Hinsicht knüpfte die Studie an die Herangehensweise der Vorgängerstudie an und wählte einen qualitativen kontributionsanalytischen Ansatz. Ausgehend von einer sogenannten Theorie des Wandels fand eine hypothesengeleitete Untersuchung der vom Fairen Handel angestrebten Veränderungen in den jeweiligen Untersuchungsbereichen sowie eine Analyse des Beitrags der Fair-Handels-Bewegung zu diesen Veränderungen statt. Hierbei kam ein Mix qualitativer und quantitativer Erhebungs- und Auswertungsmethoden zum Einsatz. Den Ausgangspunkt bildet eine umfassende Analyse bestehende Literatur und Sekundärdaten, welche durch die Erhebung empirischer Daten mittels leitfadengestützter Expert:inneninterviews, (Fokus-)Gruppendiskussionen und einer teilstandardisierten Erhebung ergänzt wurde.
Zentrale Projektevaluierung des Sektorvorhabens „Bodenschutz, Desertifikationsbekämpfung, Nachhaltiges Landmanagement“
Das Sektorvorhaben Bodenschutz, Desertifikationsbekämpfung, nachhaltiges Landmanagement unterstützt das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) in seiner Rolle als Unterzeichner des Übereinkommens der Vereinten Nationen zur Bekämpfung der Wüstenbildung (UNCCD) und berät es zu nachhaltigem Landmanagement, Bodenschutz und Klimafolgen. Darüber hinaus erprobt und implementiert das Projekt mit Partnern in Indien und Kenia Ansätze zur Nutzung von Bodenschutzmaßnahmen für den Klimaschutz. Dazu gehören die Umsetzung eines Kohlenstoffzertifizierungssystems in Kenia und Studien zu den Klimaauswirkungen nachhaltiger Landbewirtschaftungsmethoden in Indien. Die daraus gewonnenen Erfahrungen und Erkenntnisse sollen die Verbreitung auf nationaler und internationaler Ebene aufbereitet werden.
Die CEval GmbH ist von der GIZ beauftragt das Sektorvorhaben zu evaluieren. Die Evaluation erfolgt nach den Vorgaben und Leitlinien für zentrale Projektevaluationen der GIZ, die ein standardisiertes Analyseraster (Evaluationsmatrix) beinhalten, das auf den OECD-DAC Kriterien (Relevanz, Kohärenz, Effizienz, Effektivität, Impact, Nachhaltigkeit) aufbaut. Das CEval-Team verfolgt einen mixed-methods Ansatz der qualitativen und quantitativen Instrumente und Analyseverfahren kombiniert. Zum Einsatz kommen semi-strukturierte Leitfadeninterviews, Fokusgruppendiskussionen und ein Online-Survey. Das Evaluationsteam wird in der Projektregion in Kenia vor Ort Daten erheben. Hinsichtlich der Prüfung von Kausalzusammenhängen zwischen Projektaktivitäten und potentiellen Wirkungen wird ein kontributionsanalytischer Ansatz verfolgt.
Meta-Evaluation von dezentralen Programm- und Projektevaluationen des Finnischen Außenministeriums 2017-2020
Das finnische Außenministerium beauftragte erneut das CEval, zusammen mit Particip und NIRAS, eine Meta-Evaluation seiner dezentralen Evaluationen von Programmen und Projekten in der Entwicklungszusammenarbeit im Zeitraum 2017-2020 durchzuführen. Zielsetzung dieser Meta-Evaluation war es, in Fortführung und Ergänzung zu früheren Meta-Evaluationen mehr über die Nutzung und Nützlichkeit dezentralisierter Evaluationen zu lernen, zu untersuchen, welche Entwicklungen seit der letzten Meta-Evaluierung stattgefunden haben, sowie zu untersuchen, ob die Qualität der Evaluationen und Entwicklungsergebnisse weiter gestiegen ist. Diese Meta-Evaluation ist außerdem für zwei „Neuerungen“ in der Meta-Evaluationspraxis des finnischen Außenministeriums verantwortlich. Sie ist die Erste, die die Methodik der vorherigen Meta-Evaluation repliziert und dadurch einen zulässigen Vergleich der Ergebnisse erlaubt. Außerdem ist sie die erste Meta-Evaluation, die die Perspektive der Hauptnutzer*innen von Evaluationen mit einbezieht, um die Anwendung und Nützlichkeit dezentraler Evaluationen zu bewerten. Um den Erkenntnissen der letzten Meta-Evaluation gerecht zu werden, wurden zudem zusätzliche Merkmale in den Analysen berücksichtigt und die Analysewerkzeuge entsprechend angepasst. Insgesamt verfolgte die Meta-Evaluierung einen Multimethodenansatz, der qualitative und quantitative Auswertungen von Sekundär- und Primärdaten vereint, um evidenzbasierte Erkenntnisse, Rückschlüsse und Empfehlungen für jede der folgenden drei Komponenten zu gewinnen:
Komponente 1 – Meta-Evaluationen von 80 unabhängigen Evaluierungen zur Bewertung der Qualität der Methodik der Evaluierungsberichte und der entsprechenden ToRs. Die aktuelle Meta-Evaluation wurde auch mit der vorherigen Meta-Evaluation verglichen, um Unterschiede und Trends zu identifizieren sowie bestehende Herausforderungen hinsichtlich der Evaluation Capacity innerhalb des finnischen Außenministeriums auszumachen.
Komponente 2 – Inhaltliche Bewertung von 72 Evaluierungsberichten, die minimalen Qualitätsstandards entsprachen, zur Beurteilung der Qualität der Interventionen insgesamt. Die Bewertung betrachtet die Qualität der Interventionen nach OECD-DAC-Kriterien, die Berücksichtigung von Querschnittszielen (CCOs), das heißt (1) Geschlechtergerechtigkeit, (2) Nicht-Diskriminierung mit Fokus auf Inklusion von Menschen mit Behinderungen und (3) Klimaresilienz, sowie des menschenrechtsbasierten Ansatzes (HRBA) und der finnischen Schwerpunktbereiche (PPAs). Außerdem wurde eine qualitative Synthese der Erkenntnisse und der Empfehlungen den Evaluator:innen zur Verbesserung der Qualität der finnischen Entwicklungszusammenarbeit durchgeführt.
Komponente 3 – Auf Basis von Primärdaten aus 26 Interviews mit und 119 Surveyantworten von Mitarbeiter:innen des finnischen Außenministeriums und Projektverantwortlichen, die die Maßnahmen umsetzten wurde die Nutzung und Nützlichkeit der Evaluationen bewertet. Die Interview- und Surveydaten lieferten Erkenntnisse hinsichtlich hilfreicher und hinderlicher Faktoren zur Nützlichkeit von Evaluationen. Aus den Erfahrungsberichten der Interviewten ließen sich zudem Empfehlungen zur Verbesserung der Nützlichkeit ableiten.
Zentrale Projektevaluation des Sektorvorhabens „Nachhaltigkeitsstandards und öffentlich-private Verantwortung“
Das Sektorvorhaben „Nachhaltigkeitsstandards und öffentlich-private Verantwortung“ hat das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung hinsichtlich der Schaffung günstiger regulativer Rahmenbedingung in Deutschland für die Umsetzung von Nachhaltigkeitsstandards in globalen Lieferketten beraten. Darüber hinaus war das Projekt für die Entwicklung mehrerer Online-Plattformen mit Informationen zu unternehmerischen Sorgfaltspflichten und Nachhaltigkeits-Siegeln, die sich an kleine und mittelständische Unternehmen (KMU-Kompass), öffentliche Beschaffer (kompass-nachhaltigkeit.de) und private Verbraucher (siegelklarheit.de) richten, verantwortlich.
Die CEval GmbH wurde von der GIZ beauftragt das Sektorvorhaben zu evaluieren. Die Evaluation erfolgte nach den Vorgaben und Leitlinien für zentrale Projektevaluationen der GIZ, die ein standardisiertes Analyseraster (Evaluationsmatrix) beinhalten, das auf den OECD-DAC Kriterien (Relevanz, Kohärenz, Effizienz, Effektivität, Impact, Nachhaltigkeit) aufbaut. Das CEval-Team verfolgte einen mixed-methods Ansatz der qualitativen und quantitativen Instrumente und Analyseverfahren kombinierte. Zum Einsatz kamen semi-strukturierte Leitfadeninterviews, Fokusgruppendiskussionen und ein Online-Survey. Hinsichtlich der Prüfung von Kausalzusammenhängen zwischen Projektaktivitäten und potentiellen Wirkungen wurde ein kontributionsanalytischer Ansatz verfolgt.
Zentrale Projektevaluation des Sektorvorhabens Meeresschutz
Als Mitglied der Vereinten Nationen hat sich Deutschland zu internationalen Zielen zum Meeresschutz verpflichtet (z.B. SDG 14 „Leben unter Wasser“ und UN Biodiversitätskonventionen von 1992). Das Sektorvorhaben Meeresschutz beriet das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) hinsichtlich der Wahrnehmung seiner Rolle in (inter-)nationalen Politikprozessen zum Meeresschutz, hinsichtlich der Ausrichtung und Weiterentwicklung des meeresschutzrelevanten Projekt-Portfolios, hinsichtlich des Setzens neuer politische Akzente und im Bereich der Öffentlichkeitsarbeit zu Themen des Meeresschutzes. Das Ziel des Sektorvorhabens war es, das BMZ durch fachliche Zulieferungen, Analysen bei der Gestaltung von Politik- und Umsetzungsprozessen, die dem Meeresschutz dienen, zu unterstützten.
Die Evaluation des Sektorvorhabens erfolgte nach den Vorgaben und Leitlinien für zentrale Projektevaluationen der GIZ, die ein standardisiertes Analyseraster (Evaluationsmatrix) beinhalten, das auf den OECD-DAC Kriterien (Relevanz, Kohärenz, Effizienz, Effektivität, Impact, Nachhaltigkeit) basiert. Als Erhebungsinstrumente wurden semi-strukturierte Leitfadeninterviews eingesetzt. Hinsichtlich der Prüfung von Kausalzusammenhängen zwischen Projektaktivitäten und potenziellen Wirkungen wurde ein kontributionsanalytischer Ansatz verfolgt.
Meta-Evaluation evaluativer Studien
Evaluative Studien (ES) werden in der GIZ von den operativen Einheiten der Projekte und Programme in Auftrag gegeben und gesteuert. Sie entsprechen dem jeweiligen Wissensbedarf der operativen Einheiten und zeichnen sich durch Flexibilität hinsichtlich des Evaluierungsgegenstandes, der Evaluierungskriterien und der angewandten Methoden aus. Im Gegensatz zu zentralen Projektevaluierungen werden ES nicht direkt von der Stabsstelle Evaluierung der GIZ gesteuert. Die Stabsstelle bietet jedoch auf Anfrage einen sogenannten Evaluation Support für Mitarbeiter:innen an, die mit dem Management von ES betraut sind.
Im Jahr 2022 hat die GIZ-Evaluierungsabteilung eine Meta-Evaluierung einer Stichprobe von 27 ES in Auftrag gegeben, die zwischen 2020 und 2022 durchgeführt wurden. Der Zweck dieser Meta-Evaluierung ist es, Informationen über die methodische Qualität und den Nutzen von ES in der GIZ zu liefern sowie zu verstehen, warum ES in Auftrag gegeben werden (Kontext) und wie sie umgesetzt werden (methodischer Ansatz).
Die Meta-Evaluierung basiert auf einer systematischen Review der Evaluierungsberichte und der ToR. Die Überprüfung wird anhand eines umfassenden Meta-Evaluierungsrasters durchgeführt, das eine Reihe von Aspekten enthält, die von den Reviewer:innen für die einzelnen ES bewertet werden. Darüber hinaus werden halbstrukturierte Interviews mit den für die Verwaltung der ES zuständigen Mitarbeitern geführt, um einen Einblick in ihre Erfahrungen mit dem Evaluation Support und den Nutzen der Ergebnisse der ES für die Projektsteuerung zu erhalten.
Evaluation der International Sustainability Academy (ISA)
Die International Sustainability Academy (ISA) ist ein Projekt der Schutzgemeinschaft Deutscher Wald Hamburg e.V (SDW). Die ISA bietet ein 9-monatiges Stipendienprogramm, das durch das Bundesministerium für Wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) gefördert wird, mit dem Ziel, die Internationale Zusammenarbeit bei der Umsetzung der Sustainable Development Goals (SDGs) zu unterstützen und zu stärken. Das Stipendium steht interessierten Personen offen, die an SDG-bezogenen Aktivitäten beteiligt sind und aus Ländern stammen, die auf der Liste des Entwicklungshilfeausschusses (DAC) stehen. Die erste Phase des Stipendiums umfasst einen achtmonatigen Aufenthalt in Hamburg, bei dem die Stipendiat:innen Trainings, Vernetzungsmöglichkeiten, individuelle Beratung und Unterstützung für die (Weiter-) Entwicklung ihrer wissenschaftlichen oder wirtschaftlichen Projekte und/oder Produkte erhalten. Das Stipendium schließt mit einer zweiten Phase, einem zusätzlichen Fördermonat im Heimatland ab, in dem der Abschluss bzw. die Implementation der individuellen Projekte im Fokus steht. ISA startete im September 2019 und befindet sich derzeit in der zweiten Förderphase von 2022 bis Ende 2024.
Zur Halbzeit der aktuellen Förderphase wurde die CEval GmbH von der SDW mit der Durchführung einer Zwischenevaluierung beauftragt. Ziel der Evaluation ist, eine Zwischenbilanz zu ziehen und Optimierungspotenziale zur Ausgestaltung des Stipendien-programmes zu identifizieren. Die Evaluation basiert auf den OECD-DAC Kriterien und adressiert damit Fragen zur Relevanz, Kohärenz, Effizienz, Effektivität, Impact und zur Nachhaltigkeit des Stipendienprogramms. Methodisch wird für diese Evaluation einen Mixed-Methods-Ansatz eingesetzt, in dem qualitative und quantitative Instrumente und Analyseverfahren kombiniert werden. In qualitativer Hinsicht kommen die Auswertung Projektdokumenten, semi-strukturierte Leitfadeninterviews und Fokusgruppendiskussionen mit verschiedenen Stakeholdern sowie teilnehmende Beobachtungen des Auswahlverfahrens zum Einsatz. Weiterhin werden quantitative Online-Befragungen von aktuellen ISA Stipendiat:innen und Alumni zur Erfassung ihrer Erfahrungen und persönlichen Perspektiven auf das Stipendienprogramms durchgeführt.
Messung der Kundenzufriedenheit bei AIZ-Dienstleistungen für GIZ-Vorhaben, Folgeerhebung 2022
Um eine stetige Qualitätssicherung ihrer Dienstleistungen zu gewährleisten, hat die Akademie für Internationale Zusammenarbeit (AIZ) die CEval GmbH beauftragt, die Erhebungswelle 2022 Ihrer Kundenzufriedenheitsbefragung durchzuführen. Ziel ist es, die Zufriedenheit der GIZ-internen Kund:innen mit den Dienstleistungen der AIZ im Bereich der beruflichen Bildung sowie ggf. Optimierungspotenziale zu ermitteln.
Zu diesem Zweck werden GIZ-interne Kund:innen im Rahmen einer teilstandardisierten Telefonbefragung zu den Bereichen Kommunikation, Beratung und Dienstleistung, Arbeitsweise und Entwicklungsorientierung befragt. Basierend auf den Befunden werden sowohl Stärken als auch Schwächen der von der AIZ durchgeführten Maßnahmen sowie daraus resultierende Verbesserungspotenziale identifiziert.
Wissenschaftliche M&E-Begleitung von zwei WaSH-Projekten in Äthiopien und Kenia
Die Knorr-Bremse Global Care e.V. (KBGC) plant die Umsetzung zweier WASH-Projekte in Äthiopien und Kenia. Gemeinsames Ziel der beiden Vorhaben ist die Reduktion von Sterblichkeits- und Krankheitsraten durch wasserverbundene Krankheiten. Hierfür ist eine Reihe von, an die Rahmenbedingungen in den jeweiligen Umsetzungsregionen angepasste Maßnahmen geplant, wie bspw. zur Verbesserung des Zugangs zu sauberem Wasser, zur Steigerung des Wissens und der Kompetenzen der beteiligten Akteure, zur Rehabilitation sanitärer Einrichtungen, zur Verbreitung energieeffizienterer Öfen, zur Gesundheitsaufklärung sowie schließlich zu Einstellungs- und Verhaltensänderungen bei den Zielgruppen. Dadurch soll ein Beitrag zur Verbesserung der allgemeinen Lebensbedingungen der Zielgruppen geleistet werden.
Die CEval GmbH übernimmt die wissenschaftliche Begleitung des Monitorings und der Evaluation der beiden Projekte, mit dem Ziel, deren Wirksamkeit zu erfassen. Die Umsetzung erfolgt in enger Zusammenarbeit mit nationalen Gutachtern in beiden Ländern. Die Evaluation der Projekte wird in erster Linie von diesen direkt vor Ort durchgeführt, während die CEval GmbH die Erstellung des Evaluationsdesigns und Methodenkonzepts, die Schulung der Monitoringverantwortlichen sowie Begleitung des gesamten Prozesses übernimmt.
Begleitende Zwischenevaluation der „Palestinian-German Science Bridge“ (PGSB)
Das Programm „Palestinian German Science Bridge“ ist ein vom Bundesministerium für Bildung und Forschung (BMBF) finanziertes Pilotprojekt, welches gemeinsam vom Forschungszentrum Jülich und der „Palestinian Academy for Science and Technology“ (PALAST) umgesetzt wird und auf die Etablierung einer langfristen Ausbildungs- und Forschungskooperation zwischen dem Forschungszentrum und den palästinensischen Universitäten abzielt. Das Programm vereint hierfür die Mobilität von Studierenden und (Nachwuchs-)Wissenschaftler*innen, den wissenschaftlichen Austausch von Forscher*innen, die Unterstützung von Forschungskooperationen und die Reintegration palästinensischer Forschender in den palästinensischen Forschungssektor.
Das Forschungszentrum Jülich hat die CEval GmbH damit beauftragt, das Forschungszentrum hinsichtlich der Konzeption einer Mid-Term Evaluation des Programms zu beraten sowie bei deren Durchführung zu unterstützen. Die Evaluation sollte die kurz- bis mittelfristigen Ergebnisse des Programms beurteilen sowie die Aussichten der langfristigen Zielerreichung. Ziel der Evaluation war es des Weiteren, Verbesserungspotenziale zur weiteren Optimierung des Programms zu identifizieren.
Methodisch basierte die Evaluation auf einem Methodenmix aus qualitativen und quantitativen Datenerhebungs- und -auswertungsmethoden. Die Datenerhebung kombinierte eine Dokumenten- und Sekundärdatenanalyse mit leitfadengestützten Interviews sowie teilstandardisierten Online-Befragungen der Stakeholder des Projekts. Die Datenanalyse vereinte deskriptive Statistik und qualitative Inhaltsanalyse. Aufgrund der COVID-19 Pandemie war die Evaluation als Remote-Evaluation konzipiert.
