Fallstudie für Thüringen im Rahmen der Evaluation des „European Dynamics for DEAR Efficiency“ Projektes
Das CEval wurde von Planète Publique (Paris) mit der Durchführung einer Fallstudie im Rahmen der Evaluation des EU-Projekts „European Dynamics for DEAR Efficiency“ beauftragt. Das Projekt diente dazu, Maßnahmen der entwicklungspolitischen Bildungsarbeit in vier europäischen Regionen (Thüringen/ Deutschland, Picardie/ Frankreich, Marches/ Italien und Luxembourg/ Belgien) zu fördern sowie den Austausch und das gegenseitige Lernen der teilnehmenden Akteure anzuregen. In Thüringen wurden entwicklungspolitische Bildungsmaßnahmen der schulischen und außerschulischen Bildung sowie verschiedene Vernetzungsaktivitäten auf regionaler wie auf europäischer Ebene gefördert. Für die Erstellung der Fallstudie hat das CEval qualitative Experteninterviews mit verschiedenen Stakeholdern des Projekts durchgeführt.
Meta-Evaluation World Vision Deutschland
Zum zweiten Mal hat World Vision Deutschland (WVD) das CEval beauftragt 29 Evaluationsberichte seiner langfristig angelegten Regional-Entwicklungsprogramme einer Meta-Evaluation zu unterziehen. Ziel dabei war es, die Berichte im Hinblick auf ihre Qualität und Aussagekraft zu den ihnen zugrundeliegenden Fragestellungen zu bewerten und Empfehlungen für das Design und die Umsetzung zukünftiger Evaluationsvorhaben zu entwickeln.
Methodisch konzentrierte sich das CEval dabei auf ein zweistufiges Auswertungsverfahren, das sich an die OECD/DAC Kriterien, Relevanz, Effektivität, Effizienz, Wirkung und Nachhaltigkeit, anlehnt. In einem ersten Schritt wurden die von WVD erarbeitete Kriterien Mitsprache und Inklusion, Transparenz, Angemessenheit der Methoden, Methodik, Triangulation, Befriedigung des Informationsbedarf, Identifizierung des Programmbeitrags sowie Ergebnisdarstellung anhand von verschiedenen Unterkriterien bewertet, die schließlich in einem zweiten Schritt aggregiert wurden.
Der Analyserahmen wurde bei der diesjährigen Meta-Evaluation um Nutzung und Nützlichkeit von Evaluationsergebnissen für die Projektarbeit erweitert. Um dies zu realisieren wurden leitfadengestützte Interviews mit WV Programmkoordinatoren auf internationaler Ebene durchgeführt. Basierend auf den erhaltenen Impulsen wurde ein Online Fragebogen für die Mitarbeiter von WV International entwickelt, sodass die Nützlichkeitsbewertung auf Grundlage einer internationalen, organisationsweiten Online-Befragung erfolgte.
Zusätzlich wurde die Transparenz innerhalb des herausgegebenen Wirkungsberichts bewertet. Die Bewertung erfolgte anhand der Kriterien Nachvollziehbarkeit/Verständlichkeit, Vorliegen der für die Zielgruppen relevante Informationen, methodische Vorgehensweise, Validität der genutzten Daten und Quellen, Objektivität sowie Veröffentlichung/Zugang.
Meta-Evaluierung der Projektevaluierungen aus den Jahren 2014-2015 für MISEREOR
Misereor unterstützt eine Vielzahl von Entwicklungsprojekten die durch Partnerorganisationen durchgeführt werden. Die Evaluation dieser Projekte, beauftragt durch die Partnerorganisationen oder durch Misereor leistet einen wichtigen Informations- und Lernbeitrag. Das CEval war zusammen mit .Evaluation.Consulting beauftragt, eine Metaevaluation der Evaluationen der Jahre 2014-2015 durchzuführen. Ziel war es, aussagekräftige Informationen zur Qualität der von Partnern beauftragten Evaluierungen zu erheben und so im Bereich der Qualitätssicherung mögliche Verbesserungen herbeizuführen.
Dabei richtete sich die Meta-Evaluierung im Wesentlichen nach den DAC-Standards und -Prinzipien. Methodisch wurde in einer ersten Stufe eine repräsentative Anzahl von Studien einem Basischeck unterzogen, um so Qualitätsaussagen aus der Breite der Studien ziehen zu können. Die Kriterien der Vollständigkeit und Angemessenheit der Dokumentation, Unabhängigkeit, Glaubwürdigkeit, Nützlichkeit wurden anhand von verschiedenen Unterkriterien bewertet und anschließend aggregiert.
In einem zweiten Schritt wurde ein Teil der Studien, die eine besondere Lernfunktion erfüllen, einer intensiven Analyse von diesen und weiteren Kriterien unterzogen. Ausgewertet wurden hauptsächlich die Evaluierungsberichte aber auch dazugehörige Dokumente wie Terms of Reference und generelle Dokumente von Misereor zum Thema. Darüber hinaus wurden zur Beantwortung bestimmter Untersuchungsfragen auch vereinzelt Interviews durchgeführt. In Zusammenarbeit mit .Evaluation.Consulting übernahm das CEval die Entwicklung und Konzeption der Analyseraster und war insbesondere in der Datenanalyse und -auswertung involviert.
Begleitung und Beratung Wirkungsmessung – Baseline Update Länderprogramm Bangladesch
Das Länderprogramm Bangladesch 2013-1016 von HEKS/EPER hatte zum Ziel, die soziale Inklusion von marginalisierten und entrechteten Minderheiten im Nordwesten Bangladeschs zu fördern. Die unterschiedlichen Interventionen hatten vor allem urbane und rurale Dalit und Flachland-Adibashi Gemeinden zur Zielgruppe, die unter komplexen Formen von Diskriminierung leiden. Der Ausschluss der beiden Minderheiten ist ein entscheidender Grund für Konflikte zwischen Minderheiten und der Mainstream-Gesellschaft. Mit einem Menschenrechtsansatz und einem Value-Chain Ansatz wollte HEKS die soziale Inklusion der beiden Gruppen fördern.
HEKS wollte die Wirkungen aus der letzten Projektphase messen und gleichzeitig valide Baselinedaten für die kommende Programmphase erheben. Das CEval stand HEKS dabei unterstützend zur Seite. Die Wirkung des Programms sollte mit Hilfe von Haushaltsbefragungen und der qualitativen Methode der contribution analysis erfasst werden. CEval unterstützte HEKS dabei hauptsächlich bei der Vorbereitung für die quantitative Datenerhebung und bei der quantitativen Datenauswertung. Das CEval bereitete die Sampling Strategie vor, half bei der Entwicklung der Erhebungsinstrumente und bei der statistischen Auswertung der Daten. Bei letzterem galt es insbesondere die zuvor erhobenen Daten mit den neu erhobenen Daten so zu kombinieren, um valide Schlüsse aus der statistischen Analyse ziehen zu können.
Begleitende Evaluation eines Slum Rehabilitationsprojekts in Brasilien
Knorr-Bremse Global Care e.V. (KBGC) unterstützt zusammen mit einem lokalen Partner ein Trainings- und Rehabilitationsprojekt in Grajaú, einem Slum Gebiet in Sao Paolo. Das Projekt strebt eine Verbesserung von Lebensbedingungen der Slumbevölkerung an, in dem, zum einen, Trainingsmaßnahmen im Bereich des Zivilen Bauens für junge Erwachsene angeboten werden und, zum anderen, die ausgebildeten Jugendlichen zusammen mit der Slumbevölkerung und dem lokalen Partner nachhaltige und adäquate Wohnhäuser errichten.
CEval unterstützte KBGC beim Aufbau eines Monitorings- & Evaluationssystems, das Fortschritte gegenüber der Projektziele und Wirkungen des Projekts über eine Laufzeit von drei Jahren misst. Um kurz-, mittel- und langfristige Wirkungen zu erfassen, wurde dabei eine Zeitreihenanalyse eingesetzt, die sich auf mehrere Datensammlungen durch Fragebögen stützte. Alle sechs Monate wurden die Teilnehmer:innen des Trainingprogramms befragt, deren Daten analysiert und aufbereitet, und in Kurzberichten Erkenntnisse des Programmfortschritts an KBGC und deren Partner kommuniziert.
Evaluierung und Beratung: Der QUIZ-Kompass auf dem Prüfstand
Um die eigene Arbeit effizienter zu planen und den wachsenden Qualitätsansprüchen im Rahmen der Wirkungsdebatte in der Entwicklungszusammenarbeit gerecht zu werden, hat die Abteilung Internationale Entwicklungszusammenarbeit der FES den QUIZ-Kompass (Qualitätsmanagement in der Internationalen Zusammenarbeit) im Jahr 2006 entwickelt, in den Folgejahren getestet um im Jahr 2010 verbindlich für alle Landesprojekte eingeführt.
Parallel dazu hat das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) eine Arbeitsgruppe zur Vereinheitlichung und Verbesserung des Berichts- und Antragswesens für die politischen Stiftungen ins Leben gerufen. Dies führte schließlich im Jahr 2012 zur Einführung neuer Berichts- und Antragsformate, die nunmehr für alle politischen Stiftungen verbindlich sind.
Durch diese Entwicklungen sind zum einen die Anforderungen im Berichts- und Antragswesen gestiegen. Zum anderen hat sich gezeigt, dass der QUIZ-Kompass und die BMZ-Vorgaben gemeinsam betrachtet einige Überlappungen und kleinere Widersprüche aufweisen. Dies hat dazu geführt, dass die FES sich entschieden hat den QUIZ-Kompass zu überarbeiten. Ziel der Evaluierung und Beratung war in einem ersten Schritt seine Aktualität im Hinblick auf den Status quo der Wirkungsdebatte in der Entwicklungszusammenarbeit zu analysieren. In einem zweiten Schritt ging es darum die Praktikabilität des Instrumentes zu evaluieren. In einem dritten Schritt sollten schließlich Empfehlungen für die Verschlankung und Neukonzipierung des Instruments aus den gewonnenen Erkenntnissen abgeleitet werden.
Aufbau eines wirkungsorientierten M&E-Systems in Deutschland für die Kooperationsplattform Lateinamerika Nord (KOPLAN)
Innovative Umwelt- und Klimatechnologien werden bislang nur in geringem Maße in Zentralamerika und Mexiko genutzt. Eine Ursache hierfür ist die mangelhafte Verbreitung moderner Umwelttechnologien in der Region. Hier setzt KOPLAN („Kooperationsplattform Lateinamerika Nord“) an: Ziel ist die Verbreitung von (deutschen) umwelt- und klimaverträglichen Technologien in Mexiko und Zentralamerika, um so einen Beitrag zum Umweltschutz zu leisten. Die deutsche Umweltwirtschaft hat in den letzten Jahren dabei weltweit eine Vorreiterrolle eingenommen und sich gerade im Bereich anwendungsorientierter Technologien für viele Innovationen verantwortlich gezeichnet. Die Studie verfolgte drei Hauptfragestellungen, nämlich a) die Frage nach dem Exportpotenzial der deutschen Umwelttechnologiebranche, b) ob und inwieweit deutsche Angebote der potenziellen Nachfrage in Mexiko und Zentralamerika entsprechen und c) welche Exporthemmnisse existieren und wie diese überwunden werden können.
Neben einem wirkungsorientierten Monitoring vor Ort in Mexiko war aufgrund der angestrebten Projektwirkungen in Deutschland auch dort ein ergänzendes Monitoring notwendig. Zentrale Aufgabe des Projektes war daher die Entwicklung eines wirkungsorientierten Monitoring- und Evaluationssystems zur Messung der angestrebten Wirkungen von KOPLAN in Deutschland. Hierzu wurden ein umfassendes Indikatorentableau sowie ein Erhebungsplan entwickelt, welche als Grundlage für die Etablierung zweier Panels dienen sollten, um Veränderungen bei den wichtigsten Zielgruppen des Projekts, den deutschen Unternehmen der Umwelttechnologiebranche und zentralen Multiplikatoren der deutschen Umweltwirtschaft, messen zu können. Nach Abschluss der Entwicklung des M&E-Systems wurde das CEval mit der Durchführung der ersten Panelbefragung beauftragt. Dabei wurden quantitative und qualitative Datenerhebungsmethoden angewandt (standardisierte Befragung teilnehmender Unternehmen, einer Vergleichsgruppe und Multiplikatoren, Dokumente- und Sekundärdatenanalyse, leitfadengestützte Experteninterviews).
Energising Development (EnDev) Herdstudie in Äthiopien
Das GIZ-Projekt „Energising Development“ (EnDev) ist eine gemeinsame Initiative der Regierungen Australiens, Deutschlands, der Niederlande, Norwegens und des Vereinten Königreichs. Gegenstand der Studie war das Energy Coordination Office (ECO) in Äthiopien, ein Teilprojekt von EnDev. ECO (oder EnDev Ethiopia) hat zum Ziel, einen kommerziellen Sektor und nachhaltigen Markt für energieeffiziente Kochherde in Äthiopien aufzubauen. Dabei fokussiert sich der Projektansatz sowohl auf die Stärkung der Angebotsseite durch die Verbesserung der betriebswirtschaftlichen und technischen Fähigkeiten von Herdproduzenten, als auch auf die Stimulation der Nachfrage seitens der Haushalte in Äthiopien.
Im Rahmen einer umfangreichen Herdstudie wurde die Zielerreichung des ECO-Projektes in drei Projektregionen untersucht. Die Studie verfolgte somit folgende Ziele: die Nachhaltigkeit von ECOs Interventionen in drei Projektregionen unter Anwendung der EnDev-internen Nachhaltigkeitskriterien und anhand des HERA-Nachhaltigkeitsansatzes (HERA & Poverty-Oriented Basic Energy Services) zu analysieren und bewerten, sowie Empfehlungen für die zukünftige Steuerung der EnDev-Projekte anhand der Ergebnisse zu generieren.
Ergänzend zu einer Dokumentenanalyse von relevanten Projekt- und Sektorpapieren wurden vor Ort standardisierte und qualitative Daten zur Datentriangulation erhoben. Das CEval unterstützte mit seiner Methodenexpertise in Datenerhebung und -auswertung die Durchführung der Studie.
Meta-Evaluation von 34 Evaluationsberichten zu den Regional-Entwicklungsprogrammen von World Vision Deutschland (2014)
World Vision Deutschland hatte das CEval beauftragt 34 Evaluationsberichte seiner langfristig angelegten Regional-Entwicklungsprogramme einer Meta-Evaluation zu unterziehen. Ziel war es dabei, die Berichte im Hinblick auf ihre Qualität und Aussagekraft zu den ihnen zugrundeliegenden Fragestellungen zu bewerten und Empfehlungen für das Design und die Umsetzung zukünftiger Evaluationsvorhaben zu entwickeln.
Methodisch konzentrierte sich das CEval dabei auf ein zweistufiges Auswertungsverfahren, das sich an die Evaluationskriterien Relevanz, Effektivität, Effizienz, Wirkung und Nachhaltigkeit des OECD/DAC anlehnte. In einem ersten Schritt wurden die von WVD erarbeitete Kriterien Mitsprache und Inklusion, Transparenz, Angemessenheit der Methoden, Methodik, Triangulation, sowie Identifizierung des Programmbeitrags anhand von verschiedenen Unterkriterien bewertet, die schließlich in einem zweiten Schritt aggregiert wurden.
Darüber hinaus unterstützte das CEval WVD bei der Entwicklung seines Wirkungsberichts in Form von kritischer Kommentierung sowie Beratung zu methodischen Aspekten.
Evaluation des Deutsch-Ägyptischen Forschungsfonds (GERF)
Der Projektträger im Deutschen Luft- und Raumfahrtzentrum (DLR) setzt im Auftrag des Bundesministeriums für Bildung und Forschung (BMBF) die Programmaktivitäten des Deutsch-Ägyptischen Forschungsfonds (GERF) um. Die zu evaluierenden Programmaktivitäten umfassen zwei Förderrunden (GERF I: 2009-2011, GERF II: 2011-2013/14), in deren Rahmen deutsch-ägyptische Forschungsvorhaben in den Bereichen Biotechnologie, Energieeffizienz und erneuerbare Energien, Wasserentsalzung, Gesundheit sowie Management natürlicher Ressourcen finanziell unterstützt wurden.
Das CEval war sowohl mit der Ex-post- (bzgl. GERF I) als auch mit der Zwischenevaluation (bzgl. GERF II) beauftragt worden. Dementsprechend galt es zum einen die durch GERF I erreichten Ziele und nachgelagerten Wirkungen sowie deren Nachhaltigkeit zu bewerten und zum anderen den Umsetzungsprozess des noch laufenden GERF II Programms hinsichtlich dessen Design und Effizienz zu untersuchen und auf Grundlage der Untersuchungsergebnisse Empfehlungen für die Fortführung von GERF II sowie die Konzeption zukünftiger Förderzyklen auszuarbeiten.
