Begleitende Evaluation, Wirkungsevaluation
Projektstart: April 2022
Projektende: August 2023
Entwicklungen des Fairen Handels und der Fairen Beschaffung in Deutschland 2015-2022. Aktualisierte Fassung der Studie ‚Verändert der Faire Handel die Gesellschaft?‘
Im Jahr 2015 beauftragten tragende Akteure der Fair-Handels-Bewegung in Deutschland eine Studie zu den Wirkungen des Fairen Handels in Deutschland, welche von der CEval GmbH [Mehr anzeigen]Im Jahr 2015 beauftragten tragende Akteure der Fair-Handels-Bewegung in Deutschland eine Studie zu den Wirkungen des Fairen Handels in Deutschland, welche von der CEval GmbH durchgeführt wurde. Dabei wurden die Wirkungen des Fairen Handels und der zivilgesellschaftlichen Fair-Handels-Bewegung in vier gesellschaftlichen Bereichen untersucht: Zivilgesellschaft, Konsument:innen, Handel und Hersteller sowie Politik und öffentlicher Sektor. Seit 2015 hat sich nicht nur der Faire Handel selbst weiterentwickelt, sondern auch die Rahmenbedingungen, in denen er agiert. Hierzu zählen insbesondere auch die Rahmenbedingungen für eine faire öffentliche Beschaffung.
Vor diesem Hintergrund haben Fairtrade Deutschland und Engagement Global Service für Entwicklungsinitiativen gGmbH mit der Servicestelle Kommunen in der Einen Welt und in Kooperation mit dem Forum Fairer Handel und dem Weltladen-Dachverband die CEval GmbH mit der Durchführung einer aktualisierten und erweiterten Fassung der 2015er Studie beauftragt. Ziel war es, die Wirkungen des Fairen Handels in Deutschland zwischen 2016 und 2022 unter den veränderten Rahmenbedingungen zu untersuchen und dabei auch die gewachsene Rolle der Kommunen für Fairen Handel und faire Beschaffung zu berücksichtigen. Aufbauend auf den Erkenntnissen der Studie wurden Empfehlungen dafür abgeleitet, wie das Engagement im Fairen Handel und bezüglich der fairen öffentlichen Beschaffung noch wirksamer gestaltet werden kann.
In methodischer Hinsicht knüpfte die Studie an die Herangehensweise der Vorgängerstudie an und wählte einen qualitativen kontributionsanalytischen Ansatz. Ausgehend von einer sogenannten Theorie des Wandels fand eine hypothesengeleitete Untersuchung der vom Fairen Handel angestrebten Veränderungen in den jeweiligen Untersuchungsbereichen sowie eine Analyse des Beitrags der Fair-Handels-Bewegung zu diesen Veränderungen statt. Hierbei kam ein Mix qualitativer und quantitativer Erhebungs- und Auswertungsmethoden zum Einsatz. Den Ausgangspunkt bildete eine umfassende Analyse bestehende Literatur und Sekundärdaten, welche durch die Erhebung empirischer Daten mittels leitfadengestützter Expert:inneninterviews, (Fokus-)Gruppendiskussionen und einer teilstandardisierten Erhebung ergänzt wurde.
Management: Sandra Bäthge | Mitarbeit: Stefan Silvestrini, Maja Flaig, Katharina HaryCapacity Development, Meta-Evaluation, Systemevaluation
Projektstart: Juni 2021
Projektende: März 2022
Meta-Evaluation von dezentralen Programm- und Projektevaluationen des Finnischen Außenministeriums 2017-2020
Das finnische Außenministerium beauftragte erneut das CEval, zusammen mit Particip und NIRAS, eine Meta-Evaluation seiner dezentralen Evaluationen von Programmen und Projekten in der Entwicklungszusammenarbeit im [Mehr anzeigen]Das finnische Außenministerium beauftragte erneut das CEval, zusammen mit Particip und NIRAS, eine Meta-Evaluation seiner dezentralen Evaluationen von Programmen und Projekten in der Entwicklungszusammenarbeit im Zeitraum 2017-2020 durchzuführen. Zielsetzung dieser Meta-Evaluation war es, in Fortführung und Ergänzung zu früheren Meta-Evaluationen mehr über die Nutzung und Nützlichkeit dezentralisierter Evaluationen zu lernen, zu untersuchen, welche Entwicklungen seit der letzten Meta-Evaluierung stattgefunden haben, sowie zu untersuchen, ob die Qualität der Evaluationen und Entwicklungsergebnisse weiter gestiegen ist. Diese Meta-Evaluation ist außerdem für zwei „Neuerungen“ in der Meta-Evaluationspraxis des finnischen Außenministeriums verantwortlich. Sie ist die erste, die die Methodik der vorherigen Meta-Evaluation repliziert und dadurch einen zulässigen Vergleich der Ergebnisse erlaubt. Außerdem ist sie die erste Meta-Evaluation, die die Perspektive der Hauptnutzer:innen von Evaluationen mit einbezieht, um die Anwendung und Nützlichkeit dezentraler Evaluationen zu bewerten. Um den Erkenntnissen der letzten Meta-Evaluation gerecht zu werden, wurden zudem zusätzliche Merkmale in den Analysen berücksichtigt und die Analysewerkzeuge entsprechend angepasst. Insgesamt verfolgte die Meta-Evaluierung einen Multimethodenansatz, der qualitative und quantitative Auswertungen von Sekundär- und Primärdaten vereint, um evidenzbasierte Erkenntnisse, Rückschlüsse und Empfehlungen für jede der folgenden drei Komponenten zu gewinnen:
Komponente 1 – Meta-Evaluationen von 80 unabhängigen Evaluierungen zur Bewertung der Qualität der Methodik der Evaluierungsberichte und der entsprechenden ToRs. Die aktuelle Meta-Evaluation wurde auch mit der vorherigen Meta-Evaluation verglichen, um Unterschiede und Trends zu identifizieren sowie bestehende Herausforderungen hinsichtlich der Evaluation Capacity innerhalb des finnischen Außenministeriums auszumachen.
Komponente 2 – Inhaltliche Bewertung von 72 Evaluierungsberichten, die minimalen Qualitätsstandards entsprachen, zur Beurteilung der Qualität der Interventionen insgesamt. Die Bewertung betrachtet die Qualität der Interventionen nach OECD-DAC-Kriterien, die Berücksichtigung von Querschnittszielen (CCOs), das heißt (1) Geschlechtergerechtigkeit, (2) Nicht-Diskriminierung mit Fokus auf Inklusion von Menschen mit Behinderungen und (3) Klimaresilienz, sowie des menschenrechtsbasierten Ansatzes (HRBA) und der finnischen Schwerpunktbereiche (PPAs). Außerdem wurde eine qualitative Synthese der Erkenntnisse und der Empfehlungen den Evaluator:innen zur Verbesserung der Qualität der finnischen Entwicklungszusammenarbeit durchgeführt.
Komponente 3 – Auf Basis von Primärdaten aus 26 Interviews mit und 119 Surveyantworten von Mitarbeiter:innen des finnischen Außenministeriums und Projektverantwortlichen, die die Maßnahmen umsetzten, wurde die Nutzung und Nützlichkeit der Evaluationen bewertet. Die Interview- und Surveydaten lieferten Erkenntnisse hinsichtlich hilfreicher und hinderlicher Faktoren zur Nützlichkeit von Evaluationen. Aus den Erfahrungsberichten der Interviewten ließen sich zudem Empfehlungen zur Verbesserung der Nützlichkeit ableiten.
Management: Susanne Johanna Väth | Mitarbeit: Stefan Silvestrini, Hansjörg Gaus, Maja Flaig, Janis Wicke | Kooperationspartner: NIRAS, ParticipAuftraggeber: Finnisches Außenministerium
