Evaluation des Vorhabens „Aufbau bedarfsgerechter und regional harmonisierter Qualitätsinfrastruktur in der Andenregion“
Das CEval wurde von der Physikalisch-Technischen Bundesanstalt (PTB) mit der Evaluation des Vorhabens „Aufbau bedarfsgerechter und regional harmonisierter Qualitätsinfrastruktur in der Andenregion“ beauftragt.
Das Vorhaben umfasste die Länder Bolivien, Ecuador, Kolumbien und Peru und strebte eine Verbesserung der durch die lokalen Institutionen der Qualitätsinfrastruktur (QI) angebotenen Dienstleistungen an. Die Evaluation orientierte sich an den DAC-Kriterien (Relevanz, Effektivität, Impact, Effizienz, Nachhaltigkeit) und den Komponenten des Managementmodells „Capacity Works“ (Strategie, Kooperation, Steuerungsstruktur, Prozesse, Lernen und Innovation). Spezifische Evaluationsfragen waren:
– Wie erfolgreich war das Konzept der Schaffung regionaler QI-Angebote?
– Inwieweit halten die Partner den regionalen Ansatz für sinnvoll?
– Welche Erfolgsfaktoren und Lernerfahrungen lassen sich identifizieren?
– Wie erfolgreich war der Ansatz, sektorbezogene Angebotsstrategien pro Land ausarbeiten zu lassen?
– Welche Erfolgsfaktoren und Lernerfahrungen gibt es dazu?
Zunächst stützte sich die Evaluation ausschließlich auf Projektdokumente, um die Möglichkeit der Durchführbarkeit von rein dokumentbasierten Evaluationen zu beleuchten. Nach einer ersten Einschätzung der Ergebnisse wurden diese durch Interviews mit Projektbeteiligten der PTB und Partnerinstitutionen ergänzt und Empfehlungen für zukünftige Projekte und dokumentenbasierte Evaluationen abgleitet.
Meta-Evaluierung: Evaluierungen in der Internationalen Entwicklungszusammenarbeit der Friedrich-Ebert-Stiftung (FES)
Um die eigene Arbeit kontinuierlich zu verbessern, um als Organisation aus gesammelten Erfahrungen Lernprozesse zu initiieren und um der Rechenschaftspflicht gegenüber dem Zuwendungsgeber nachzukommen, gibt die Abteilung Internationale Entwicklungszusammenarbeit (IEZ) der Friedrich-Ebert-Stiftung (FES) pro Jahr circa zehn externe Evaluierungen in Auftrag.
Im Rahmen einer Meta-Evaluierung war das Centrum für Evaluation (CEval) mit der Analyse von 18 Evaluierungsberichten beauftragt, die zwischen 2012 und 2014 in einer Phase erstellt worden waren in der sich das Qualitätsmanagement der IEZ stark weiterentwickelt hat. Ziel der Meta-Evaluierung war es systematische Stärken und Schwächen der gängigen Evaluierungspraxis zu identifizieren, daraus Erkenntnisse für die Verbesserung der Qualität von künftigen Evaluierungen abzuleiten und so deren Nützlichkeit für Projektleitungen und die zuständigen Referate zu erhöhen.
Während die Qualität der Evaluierungsberichte in einer Deskstudie analysiert wurde, fanden darüber hinaus vertiefende Experteninterviews und Fokusgruppendiskussionen innerhalb der FES statt um die Nützlichkeit der Evaluierungen zu bewerten.
Weiterentwicklung des Monitoring und Berichtssystems zum Aktionsplan „Inklusion von Menschen mit Behinderungen“ in der deutschen entwicklungspolitischen Zusammenarbeit
Das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) hatte im Februar 2013 zur Umsetzung der Verpflichtungen, die sich aus Artikel 32 der Konvention über die Rechte von Menschen mit Behinderungen (MmB) der Vereinten Nationen ergeben, den Aktionsplan zur Inklusion von MmB veröffentlicht. Dieser gibt die zentralen Leitlinien und strategischen Ziele der Bundesrepublik Deutschland für die inklusive Gestaltung ihrer entwicklungspolitischen Zusammenarbeit vor.
Zur Fortschrittsbewertung und zur Steuerung der im Rahmen des Aktionsplans durchgeführten Maßnahmen bedurfte es eines adäquaten Monitoringsystems und Berichtswesen für dessen Konzeption methodisches Fachwissen notwendig war. Dementsprechend war das Centrum für Evaluation (CEval) beauftragt worden, das Sektorvorhaben „Inklusion von Menschen mit Behinderungen“ der deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) und das Referat 300 des BMZ bei der Erstellung eines Monitoring- und Analyserahmen zu unterstützen.
Unterstützung der Aufbereitung von möglichen methodischen Ansätzen zur Evaluierung mittel- und langfristiger Wirkungen der (Politik-) Beratung im spezifischen Kontext des CEPAL-Vorhabens
Die Gesellschaft für Internationale Zusammenarbeit (GIZ) ist im Juli 2014 mit der Durchführung eines zweijährigen TZ-Beratungsvorhabens „Strukturwandel für eine nachhaltige und inklusive Entwicklung“ mit der CEPAL (Wirtschaftskommission für Lateinamerika und die Karibik) beauftragt worden. Vor diesem Hintergrund arbeitet das Vorhaben aktuell mit einem Monitoring-System, welches eine Nachverfolgung der durchgeführten Aktivitäten/Beratungsdienstleistungen der CEPAL (inputs) und deren Nutzung (outputs) erlaubt. Eine Beobachtung der langfristigen Wirkungen findet bisher nur bedingt statt.
Die Hertie-School of Governance (HSoG) wurde mit der Aufbereitung von möglichen methodischen Ansätzen zur Evaluierung mittel- und langfristiger Wirkungen von (Politik-) Beratung im spezifischen Kontext des CEPAL-Vorhabens beauftragt. Da es für eine erfolgreiche Umsetzung des Beratungsprozesses neben Kenntnissen aus der Politikberatung umfassender Expertise in der Evaluationsforschung und -praxis bedarf, ist die HSoG an das Centrum für Evaluation (CEval) herangetreten um dieses als Konsortialpartner zu gewinnen. Der Beratungsprozess setzt sich dabei aus den folgenden drei Arbeitspaketen zusammen:- Grundlegende Aufbereitung theoretischer Ansätze zur Evaluierung von Politikberatung (unter Bezugnahme auf qualitative Methoden der empirischen Sozialforschung);
- Aufarbeitung von praktischen Erfahrungen aus der Politikberatung, wenn möglich in vergleichbaren Kontexten;
- Darstellung eines methodischen Ansatzes zur Messung von mittel- und langfristigen Wirkungen aufbauend auf den Erkenntnissen der ersten beiden Arbeitspakete für den spezifischen Kontext des Kooperationsprogramms mit der CEPAL. Das CEval war schwerpunktmäßig am dritten Arbeitspaket beteiligt und entwickelte einen methodischen Ansatz, welcher eine Kombination von vorhabenübergreifendem Impact- und programmspezifischem Outcome-M&E umfasst. Der Ansatz sieht dabei einen Methodenmix aus Dokumentenanalyse, standardisierten (Online)Befragungen und leitfadengestütztem Expertenpanel vor.
Verbleibstudie: Evaluation der Begabtenförderung der Heinrich-Böll-Stiftung e.V.
Zu den zentralen Aufgaben der Heinrich-Böll-Stiftung (hbs) gehört die Studien- und Promotionsförderung. Seit dem Beginn der Studien- und Promotionsförderung im Jahre 1990 wurden rund 3000 Studierende und Promovierende gefördert. Das Ziel der Nachwuchsförderung ist es, die ausgewählten Persönlichkeiten sowohl materiell wie ideell zu unterstützen und damit einen Beitrag zur Förderung der demokratischen Kultur sowie grüner Ideen und Werte zu leisten.
Das CEval führte zur Evaluation der Langzeitwirkung der Begabtenförderung eine Verbleibstudie aller ehemaligen Stipendiatinnen und Stipendiaten der hbs durch. Die Förderwirkungen der hbs in Studium und Promotion wurden dabei erstmals dokumentiert und fach-, zielgruppen- und diversityspezifisch analysiert. Aufgabe war es, die Langzeitwirkungen der Begabtenförderung zu analysieren und die Befunde mit den Ergebnissen anderer Absolventen- und Verbleibstudien zu vergleichen.
Zur Datengewinnung folgte das CEval einem mixed-methods Ansatz. Dabei wurde eine vertiefende Analyse bereits vorhandener Daten und Dokumente vorgenommen und es wurden eigene Erhebungen in Form einer standardisierten Onlinebefragung der Alumni und qualitativen Leitfadeninterviews mit Alumni und Zuständigen der hbs durchgeführt.
Wirkungsevaluierung des Nachwuchsförderprogramms „Agentes de Cambio“ in Zentralamerika sowie der Dominikanischen Republik
Die Friedrich-Ebert-Stiftung (FES) hatte das Centrum für Evaluation mit der Evaluierung des Nachwuchsförderprogramm „Agentes de Cambio“ beauftragt, welches ein zentraler Bestandteil der Stiftungsarbeit ist und sich über die Länder Costa Rica, Dominikanische Republik, Guatemala, Honduras, El Salvador, Nicaragua und Panama erstreckt. Ziel der Evaluierung war es, die Wirkungen des Nachwuchsförderprogramms in der Summe zu verstehen und gleichzeitig mögliche länderspezifische Besonderheiten herauszuarbeiten und damit die Basis für Empfehlungen zur Weiterentwicklung des Curriculums, zur Anpassung von Projektzielen und -strategien sowie zur Verbesserung von Steuerungsmechanismen zu legen. Darüber hinaus sollte der FES ein praxistaugliches Datenerhebungsinstrument zum Programmmonitoring und zur Evaluierung in den teilnehmenden Ländern an die Hand gegeben werden.
Bei der Evaluierung kombinierte das CEval in einem quasi-experimentellen Untersuchungsdesign teilstandardisierte Online-Erhebungen mit Fokusgruppendiskussionen und leitfadengestützte Experteninterviews.
Aufbau eines wirkungsorientierten M&E-Systems in Deutschland für die Kooperationsplattform Lateinamerika Nord (KOPLAN)
Innovative Umwelt- und Klimatechnologien werden bislang nur in geringem Maße in Zentralamerika und Mexiko genutzt. Eine Ursache hierfür ist die mangelhafte Verbreitung moderner Umwelttechnologien in der Region. Hier setzt KOPLAN („Kooperationsplattform Lateinamerika Nord“) an: Ziel ist die Verbreitung von (deutschen) umwelt- und klimaverträglichen Technologien in Mexiko und Zentralamerika, um so einen Beitrag zum Umweltschutz zu leisten. Die deutsche Umweltwirtschaft hat in den letzten Jahren dabei weltweit eine Vorreiterrolle eingenommen und sich gerade im Bereich anwendungsorientierter Technologien für viele Innovationen verantwortlich gezeichnet. Die Studie verfolgte drei Hauptfragestellungen, nämlich a) die Frage nach dem Exportpotenzial der deutschen Umwelttechnologiebranche, b) ob und inwieweit deutsche Angebote der potenziellen Nachfrage in Mexiko und Zentralamerika entsprechen und c) welche Exporthemmnisse existieren und wie diese überwunden werden können.
Neben einem wirkungsorientierten Monitoring vor Ort in Mexiko war aufgrund der angestrebten Projektwirkungen in Deutschland auch dort ein ergänzendes Monitoring notwendig. Zentrale Aufgabe des Projektes war daher die Entwicklung eines wirkungsorientierten Monitoring- und Evaluationssystems zur Messung der angestrebten Wirkungen von KOPLAN in Deutschland. Hierzu wurden ein umfassendes Indikatorentableau sowie ein Erhebungsplan entwickelt, welche als Grundlage für die Etablierung zweier Panels dienen sollten, um Veränderungen bei den wichtigsten Zielgruppen des Projekts, den deutschen Unternehmen der Umwelttechnologiebranche und zentralen Multiplikatoren der deutschen Umweltwirtschaft, messen zu können. Nach Abschluss der Entwicklung des M&E-Systems wurde das CEval mit der Durchführung der ersten Panelbefragung beauftragt. Dabei wurden quantitative und qualitative Datenerhebungsmethoden angewandt (standardisierte Befragung teilnehmender Unternehmen, einer Vergleichsgruppe und Multiplikatoren, Dokumente- und Sekundärdatenanalyse, leitfadengestützte Experteninterviews).
Energising Development (EnDev) Herdstudie in Äthiopien
Das GIZ-Projekt „Energising Development“ (EnDev) ist eine gemeinsame Initiative der Regierungen Australiens, Deutschlands, der Niederlande, Norwegens und des Vereinten Königreichs. Gegenstand der Studie war das Energy Coordination Office (ECO) in Äthiopien, ein Teilprojekt von EnDev. ECO (oder EnDev Ethiopia) hat zum Ziel, einen kommerziellen Sektor und nachhaltigen Markt für energieeffiziente Kochherde in Äthiopien aufzubauen. Dabei fokussiert sich der Projektansatz sowohl auf die Stärkung der Angebotsseite durch die Verbesserung der betriebswirtschaftlichen und technischen Fähigkeiten von Herdproduzenten, als auch auf die Stimulation der Nachfrage seitens der Haushalte in Äthiopien.
Im Rahmen einer umfangreichen Herdstudie wurde die Zielerreichung des ECO-Projektes in drei Projektregionen untersucht. Die Studie verfolgte somit folgende Ziele: die Nachhaltigkeit von ECOs Interventionen in drei Projektregionen unter Anwendung der EnDev-internen Nachhaltigkeitskriterien und anhand des HERA-Nachhaltigkeitsansatzes (HERA & Poverty-Oriented Basic Energy Services) zu analysieren und bewerten, sowie Empfehlungen für die zukünftige Steuerung der EnDev-Projekte anhand der Ergebnisse zu generieren.
Ergänzend zu einer Dokumentenanalyse von relevanten Projekt- und Sektorpapieren wurden vor Ort standardisierte und qualitative Daten zur Datentriangulation erhoben. Das CEval unterstützte mit seiner Methodenexpertise in Datenerhebung und -auswertung die Durchführung der Studie.
Meta-Evaluation von 34 Evaluationsberichten zu den Regional-Entwicklungsprogrammen von World Vision Deutschland (2014)
World Vision Deutschland hatte das CEval beauftragt 34 Evaluationsberichte seiner langfristig angelegten Regional-Entwicklungsprogramme einer Meta-Evaluation zu unterziehen. Ziel war es dabei, die Berichte im Hinblick auf ihre Qualität und Aussagekraft zu den ihnen zugrundeliegenden Fragestellungen zu bewerten und Empfehlungen für das Design und die Umsetzung zukünftiger Evaluationsvorhaben zu entwickeln.
Methodisch konzentrierte sich das CEval dabei auf ein zweistufiges Auswertungsverfahren, das sich an die Evaluationskriterien Relevanz, Effektivität, Effizienz, Wirkung und Nachhaltigkeit des OECD/DAC anlehnte. In einem ersten Schritt wurden die von WVD erarbeitete Kriterien Mitsprache und Inklusion, Transparenz, Angemessenheit der Methoden, Methodik, Triangulation, sowie Identifizierung des Programmbeitrags anhand von verschiedenen Unterkriterien bewertet, die schließlich in einem zweiten Schritt aggregiert wurden.
Darüber hinaus unterstützte das CEval WVD bei der Entwicklung seines Wirkungsberichts in Form von kritischer Kommentierung sowie Beratung zu methodischen Aspekten.
Evaluation des Deutsch-Ägyptischen Forschungsfonds (GERF)
Der Projektträger im Deutschen Luft- und Raumfahrtzentrum (DLR) setzt im Auftrag des Bundesministeriums für Bildung und Forschung (BMBF) die Programmaktivitäten des Deutsch-Ägyptischen Forschungsfonds (GERF) um. Die zu evaluierenden Programmaktivitäten umfassen zwei Förderrunden (GERF I: 2009-2011, GERF II: 2011-2013/14), in deren Rahmen deutsch-ägyptische Forschungsvorhaben in den Bereichen Biotechnologie, Energieeffizienz und erneuerbare Energien, Wasserentsalzung, Gesundheit sowie Management natürlicher Ressourcen finanziell unterstützt wurden.
Das CEval war sowohl mit der Ex-post- (bzgl. GERF I) als auch mit der Zwischenevaluation (bzgl. GERF II) beauftragt worden. Dementsprechend galt es zum einen die durch GERF I erreichten Ziele und nachgelagerten Wirkungen sowie deren Nachhaltigkeit zu bewerten und zum anderen den Umsetzungsprozess des noch laufenden GERF II Programms hinsichtlich dessen Design und Effizienz zu untersuchen und auf Grundlage der Untersuchungsergebnisse Empfehlungen für die Fortführung von GERF II sowie die Konzeption zukünftiger Förderzyklen auszuarbeiten.
