Aufbau eines wirkungsorientierten M&E-Systems in Deutschland für die Kooperationsplattform Lateinamerika Nord (KOPLAN)
Innovative Umwelt- und Klimatechnologien werden bislang nur in geringem Maße in Zentralamerika und Mexiko genutzt. Eine Ursache hierfür ist die mangelhafte Verbreitung moderner Umwelttechnologien in der Region. Hier setzt KOPLAN („Kooperationsplattform Lateinamerika Nord“) an: Ziel ist die Verbreitung von (deutschen) umwelt- und klimaverträglichen Technologien in Mexiko und Zentralamerika, um so einen Beitrag zum Umweltschutz zu leisten. Die deutsche Umweltwirtschaft hat in den letzten Jahren dabei weltweit eine Vorreiterrolle eingenommen und sich gerade im Bereich anwendungsorientierter Technologien für viele Innovationen verantwortlich gezeichnet. Die Studie verfolgte drei Hauptfragestellungen, nämlich a) die Frage nach dem Exportpotenzial der deutschen Umwelttechnologiebranche, b) ob und inwieweit deutsche Angebote der potenziellen Nachfrage in Mexiko und Zentralamerika entsprechen und c) welche Exporthemmnisse existieren und wie diese überwunden werden können.
Neben einem wirkungsorientierten Monitoring vor Ort in Mexiko war aufgrund der angestrebten Projektwirkungen in Deutschland auch dort ein ergänzendes Monitoring notwendig. Zentrale Aufgabe des Projektes war daher die Entwicklung eines wirkungsorientierten Monitoring- und Evaluationssystems zur Messung der angestrebten Wirkungen von KOPLAN in Deutschland. Hierzu wurden ein umfassendes Indikatorentableau sowie ein Erhebungsplan entwickelt, welche als Grundlage für die Etablierung zweier Panels dienen sollten, um Veränderungen bei den wichtigsten Zielgruppen des Projekts, den deutschen Unternehmen der Umwelttechnologiebranche und zentralen Multiplikatoren der deutschen Umweltwirtschaft, messen zu können. Nach Abschluss der Entwicklung des M&E-Systems wurde das CEval mit der Durchführung der ersten Panelbefragung beauftragt. Dabei wurden quantitative und qualitative Datenerhebungsmethoden angewandt (standardisierte Befragung teilnehmender Unternehmen, einer Vergleichsgruppe und Multiplikatoren, Dokumente- und Sekundärdatenanalyse, leitfadengestützte Experteninterviews).
Energising Development (EnDev) Herdstudie in Äthiopien
Das GIZ-Projekt „Energising Development“ (EnDev) ist eine gemeinsame Initiative der Regierungen Australiens, Deutschlands, der Niederlande, Norwegens und des Vereinten Königreichs. Gegenstand der Studie war das Energy Coordination Office (ECO) in Äthiopien, ein Teilprojekt von EnDev. ECO (oder EnDev Ethiopia) hat zum Ziel, einen kommerziellen Sektor und nachhaltigen Markt für energieeffiziente Kochherde in Äthiopien aufzubauen. Dabei fokussiert sich der Projektansatz sowohl auf die Stärkung der Angebotsseite durch die Verbesserung der betriebswirtschaftlichen und technischen Fähigkeiten von Herdproduzenten, als auch auf die Stimulation der Nachfrage seitens der Haushalte in Äthiopien.
Im Rahmen einer umfangreichen Herdstudie wurde die Zielerreichung des ECO-Projektes in drei Projektregionen untersucht. Die Studie verfolgte somit folgende Ziele: die Nachhaltigkeit von ECOs Interventionen in drei Projektregionen unter Anwendung der EnDev-internen Nachhaltigkeitskriterien und anhand des HERA-Nachhaltigkeitsansatzes (HERA & Poverty-Oriented Basic Energy Services) zu analysieren und bewerten, sowie Empfehlungen für die zukünftige Steuerung der EnDev-Projekte anhand der Ergebnisse zu generieren.
Ergänzend zu einer Dokumentenanalyse von relevanten Projekt- und Sektorpapieren wurden vor Ort standardisierte und qualitative Daten zur Datentriangulation erhoben. Das CEval unterstützte mit seiner Methodenexpertise in Datenerhebung und -auswertung die Durchführung der Studie.
Meta-Evaluation von 34 Evaluationsberichten zu den Regional-Entwicklungsprogrammen von World Vision Deutschland (2014)
World Vision Deutschland hatte das CEval beauftragt 34 Evaluationsberichte seiner langfristig angelegten Regional-Entwicklungsprogramme einer Meta-Evaluation zu unterziehen. Ziel war es dabei, die Berichte im Hinblick auf ihre Qualität und Aussagekraft zu den ihnen zugrundeliegenden Fragestellungen zu bewerten und Empfehlungen für das Design und die Umsetzung zukünftiger Evaluationsvorhaben zu entwickeln.
Methodisch konzentrierte sich das CEval dabei auf ein zweistufiges Auswertungsverfahren, das sich an die Evaluationskriterien Relevanz, Effektivität, Effizienz, Wirkung und Nachhaltigkeit des OECD/DAC anlehnte. In einem ersten Schritt wurden die von WVD erarbeitete Kriterien Mitsprache und Inklusion, Transparenz, Angemessenheit der Methoden, Methodik, Triangulation, sowie Identifizierung des Programmbeitrags anhand von verschiedenen Unterkriterien bewertet, die schließlich in einem zweiten Schritt aggregiert wurden.
Darüber hinaus unterstützte das CEval WVD bei der Entwicklung seines Wirkungsberichts in Form von kritischer Kommentierung sowie Beratung zu methodischen Aspekten.
Evaluation des Deutsch-Ägyptischen Forschungsfonds (GERF)
Der Projektträger im Deutschen Luft- und Raumfahrtzentrum (DLR) setzt im Auftrag des Bundesministeriums für Bildung und Forschung (BMBF) die Programmaktivitäten des Deutsch-Ägyptischen Forschungsfonds (GERF) um. Die zu evaluierenden Programmaktivitäten umfassen zwei Förderrunden (GERF I: 2009-2011, GERF II: 2011-2013/14), in deren Rahmen deutsch-ägyptische Forschungsvorhaben in den Bereichen Biotechnologie, Energieeffizienz und erneuerbare Energien, Wasserentsalzung, Gesundheit sowie Management natürlicher Ressourcen finanziell unterstützt wurden.
Das CEval war sowohl mit der Ex-post- (bzgl. GERF I) als auch mit der Zwischenevaluation (bzgl. GERF II) beauftragt worden. Dementsprechend galt es zum einen die durch GERF I erreichten Ziele und nachgelagerten Wirkungen sowie deren Nachhaltigkeit zu bewerten und zum anderen den Umsetzungsprozess des noch laufenden GERF II Programms hinsichtlich dessen Design und Effizienz zu untersuchen und auf Grundlage der Untersuchungsergebnisse Empfehlungen für die Fortführung von GERF II sowie die Konzeption zukünftiger Förderzyklen auszuarbeiten.
Externe Evaluation von vier Projekten im Bereich Bewusstseinsbildung und Erstellung eines Syntheseberichts
Als internationale christliche Entwicklungsorganisation hat sich die Christoffel Blindenmission (CBM) die Verbesserung der Menschenrechtssituation und die Inklusion von Menschen mit Behinderungen zum Ziel gesetzt. Dabei kommt der Bewusstseinsbildung als Komponente zahlreicher Entwicklungsprojekte eine wichtige Rolle zu. CBM Deutschland beauftragte das CEval mit der Evaluation von vier Projekten und der Erstellung eines Syntheseberichts, um mehr über die Implementierung von Bewusstseinsbildungsaktivitäten zu lernen, ihren Beitrag zu CBMs übergeordneten Zielen besser zu verstehen und nachzuvollziehen wie projekt-und länderspezifische Faktoren unterschiedliche Wirkungen produzieren.
Mit Kofinanzierung durch die Europäische Union oder das Bundesministerium für wirtschaftliche Entwicklung und Zusammenarbeit implementiert CBM Deutschland zwei Projekte in den Palästinensischen Gebieten (Gaza-Stadt und Gaza-Streifen), die an den Bedürfnisse von Menschen mit Hörbehinderung ansetzen, ein Projekt in Indien um die augenärztliche Versorgung im ländlichen Raum und die Rehabilitierung von Menschen mit Sehbehinderung zu verbessern und ein Projekt in Swasiland, dass sich für die Stärkung der Rechte von Menschen mit Behinderung und deren Inklusion einsetzt. Diese sehr unterschiedlichen Projekte erlaubten es die Thematik Bewusstseinsbildung von verschiedenen Perspektiven zu untersuchen und somit zu einem besseren Verständnis der verschiedenen Ansätze, zugrundeliegenden Wirkungsketten und (erwarteten) Wirkungen beizutragen. Während die Projekte in Gaza-Stadt und Indien einer Zwischenevaluation unterzogen wurden, wurde für die Projekte im Gaza-Streifen und in Swasiland eine Abschlussevaluation durchgeführt.Entwicklung eines Monitoring- und Evaluierungsrahmens für das Plan Projekt „Adolescent Boys: Champions of Change on Gender Equality and Girls‘ Rights“
Plan International ist eine nicht-religiöse und nicht-politische Nichtregierungsorganisation welche sich für die dauerhafte Verbesserung der Lebensumstände von Kindern in Afrika, Asien und Lateinamerika einsetzt.
Um die Gleichberechtigung der Geschlechter zu fördern und Jungen und Männer in diese Arbeit zu involvieren, starteten Plan International Deutschland und Plan International Finnland zusammen mit vier Länderbüros aus Lateinamerika das Pilotprojekt „Adolescent Boys: Champions of Change on Gender Equality and Girls Rights“. Das Projekt bildete männliche Jugendliche zu Tutoren für Geschlechtergleichstellung aus und wurde in fünf Ländern umgesetzt: El Salvador, Guatemala, Honduras, Dominikanische Republik und Deutschland.
Das Centrum für Evaluation (CEval) evaluierte das Pilotprojekt mit Hilfe quantitativer und qualitativer Methoden, sammelte gemachte Erfahrungen und entwickelte einen Monitoring- und Evaluationsrahmen für die zukünftige Implementierung und Ausweitung des Projekts.
Evaluation von CALIDENA & Partizipatives Instrument zur Qualitätsinfrastrukturentwicklung
Das CEval war von der Physikalisch Technischen Bundesanstalt (PTB) mit der Evaluierung von CALIDENA beauftragt worden, einem partizipativen Instrument zur Unterstützung der systematischen und nachhaltigen Verbesserung von Qualitätsinfrastrukturen in Entwicklungsländern. Die Evaluierung zielte darauf ab, auf Grundlage bisher gesammelter Erfahrungen mit dem Instrument, relevante Informationen für dessen Weiterentwicklung und Übertragung auf neue Kontexte bereitzustellen.
Zu diesem Zweck wendete das CEval einen ausgewogenen Methodenmix an. Zur Informationsgewinnung wuredn qualitative Experteninterviews mit quantitativen Erhebungen, teilnehmenden Beobachtungen und Gruppeninterviews verbunden. Nach deren Auswertung wurden die Ergebnisse in einem Bericht aufbereitet und präsentiert und flossen in eine übergeordnete Evaluationssynthese verschiedener Instrumente der PTB im Bereich Qualitätsinfrastrukturentwicklung ein, die ebenfalls vom CEval durchgeführt wurden.
Synthese von drei Instrumentenevaluationen der Technischen Zusammenarbeit der PTB
Das CEval wurde von der Physikalisch Technischen Bundesanstalt (PTB) mit der Ergebnissynthese dreier Instrumentenevaluationen beauftragt. 2014 hatte die PTB die separate Evaluation von drei Instrumenten ihrer technischen Zusammenarbeit in Auftrag gegeben & CALIDENA, QuISP und NMI-Metrology User Relations & von denen die ersten beiden vom CEval durchgeführt wurden. Ihrer Ergebnisse sollen nun aggregiert, verglichen und kontrastiert werden um übergeordnete Erfolgsfaktoren und Lernerfahrungen zu identifizieren und relevante Empfehlungen abzuleiten, unter anderem mit Blick auf den zukünftigen Einsatz der Instrumente in der technischen Zusammenarbeit der PTB.
Zu diesem Zweck unterzog das CEval die Evaluationsberichte einer qualitativen Inhaltsanalyse und Daten über qualitative Experteninterviews ergänzende Daten. Die Ergebnisse wurden in einem Bericht aufbereitet und der PTB bei einem Workshop präsentiert.
Begleitende Evaluation des Projektes „Media in Libya & Stability through Structure“
Das Projekt „Media in Libya – Stability through Structure“ hatte das übergeordnete Ziel, die Einführung einer modernen Mediengesetzgebung in Libyen zu unterstützen und die Medieninstitutionen des Landes zu stärken. Darüber hinaus sollte das Projekt zu einer Stärkung von unabhängigem und professionellem Journalismus in den Provinzen Libyens beitragen. Das Projekt hatte eine Gesamtlaufzeit von insgesamt 30 Monaten und wurde von der Europäischen Kommission im Rahmen des SPRING Programms gefördert. Gesteuert und umgesetzt wurde das Projekt von der Deutsche Welle-Akademie (Abteilung Medienentwicklung, Team Afrika) in Kooperation mit dem Institute for War and Peace Reporting (IWPR). Die Maßnahmen des Projekts waren in vier Aktivitätscluster untergliedert, von denen die DW-Akademie drei und das IWPR eines bearbeitete. Das CEval evaluierte in diesem Projekt die Cluster 1 bis 3, für deren Umsetzung die DW-Akademie verantwortlich war.
Die Evaluierung des Projekts unterteilte sich in eine Basis-, eine Zwischen- und eine Abschlussevaluation zum Ende der Implementierungsphase. Zur Datengewinnung folgte das CEval einem „mixed-methods“ Ansatz. Dabei wurde eine vertiefende Analyse bereits vorhandener Dokumente vorgenommen und es wurden eigene Erhebungen (standardisierte Onlinebefragungen der Teilnehmer der Trainings und qualitative Leitfadeninterviews mit externen Experten und Verantwortlichen der DW-Akademie) durchgeführt.
Konzeption, (Erst-)Durchführung und Auswertung eines Expertenpanels in Chile zur Analyse qualitativer Rahmenfaktoren des Erneuerbaren Energien Sektors
Die Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ) GmbH unterstützt im Auftrag des Bundesministeriums für Umwelt, Naturschutz, Bau und Reaktorsicherheit (BMUB) das Chilenische Energieministerium bei der Umsetzung von Maßnahmen zur Diversifizierung der Energieversorgung des Landes. Hierfür setzt die GIZ eine Reihe von Vorhaben um, zu denen auch ein Projekt zur Förderung des Ausbaus der Solarenergienutzung zählt. Zu Beginn des Projekts sollten die quantitativen und qualitativen Rahmenfaktoren erfasst werden, die Einfluss auf die Wirksamkeit und Nachhaltigkeit und damit die Zielerreichung des Projekts haben. Insbesondere für die Dokumentation der qualitativen Faktoren waren empirische Daten erforderlich, die im Rahmen eines Expertenpanels, also einer strukturierten Befragung von Energieexperten, erhoben werden sollten.
Die CEval GmbH erbrachte im Rahmen dieses Auftrags die folgenden Leistungen:
- Konzeptentwicklung: Festlegung der zu befragenden Experten in Abstimmung mit GIZ-Mitarbeitern, Erstellung strukturierter und an verschiedene Akteursgruppen angepasster Fragenkataloge, Konzeption der zukünftig periodisch durchzuführenden Panelerhebungen, methodisches Konzept zur längerfristigen Weiterführung des Expertenpanels
- Durchführung der Ersterhebung des Expertenpanels
- Auswertung, Nachbereitung und Berichterstattung der Ersterhebung des Expertenpanels
- Konzeptentwicklung zur Ableitung quantitativer Wirkungen basierend auf der qualitativen Erhebung unter Anwendung des von Stockmann entwickelten „Trichterverfahrens.