Begleitende Evaluation, Wirkungsevaluation
Projektstart: Mai 2015
Projektende: Mai 2020
Wirkungsevaluation des WIENCO Ghana Ltd. Vertragsanbau
Übergreifendes Ziel der Wirkungsevaluation war es, die Wirksamkeit zweier vom Africa Agricultural and Trade Investments Fund (AATIF) finanzierten und von WIENCO Ghana gemanagten Vertragsanbauvorhaben in [Mehr anzeigen]Übergreifendes Ziel der Wirkungsevaluation war es, die Wirksamkeit zweier vom Africa Agricultural and Trade Investments Fund (AATIF) finanzierten und von WIENCO Ghana gemanagten Vertragsanbauvorhaben in den Bereichen Kakao und Mais zu überprüfen und zu bewerten. Das Hauptinteresse der Evaluation lag dabei insbesondere in der Bestimmung eines kausalen Zusammenhangs zwischen der Teilnahme an den Vorhaben von WIENCO und den folgenden Merkmalen:
Produktivitätsniveau
Beschäftigungsmöglichkeiten
Betriebs- und Haushaltseinkommen
Lebens- und Arbeitsbedingungen
Risikoaussetzung des Haushaltseinkommen
Eingesetzte Risikobewältigungs- und Managementstrategien der Haushalte und Betriebe
Die gewonnenen Erkenntnisse sollten dazu dienen, einen Nachweis über die Effektivität der Vertragsanbauvorhaben und damit der finanziellen Unterstützung durch den AATIF zu erbringen. Darüber hinaus sollte für WIENCO ein einfaches Datenerhebungsinstrument für ein kontinuierliches Monitoring seiner Vorhaben entwickelt werden.
Die in Zusammenarbeit mit dem German Institute for Global and Area Studies (GIGA) und weiteren ghanaischen Partnern durchgeführte methodisch anspruchsvolle Wirkungsevaluation lief über fünf Jahre, beginnend mit einer Baseline-Erhebung Anfang 2016. Zur Generierung einer möglichst validen Datenbasis wurden dabei im Rahmen eines Multi-Methoden-Ansatzes quantitative Haushaltsbefragungen mit einer tiefgehenden qualitativen Kontextanalyse mittels Fokusgruppen- und Experteninterviews kombiniert.
Management: Stefan Silvestrini | Mitarbeit: Christina Gollan, Susanne Johanna Väth, Felix StipsAuftraggeber: Common Fund for Commodities
Begleitende Evaluation
Projektstart: Dezember 2015
Projektende: August 2016
Untersuchung der Effektivität und des Impact der Extractive Industries Transparency Initiative (EITI)
Die Extractive Industries Transparency Initiative (EITI) ist ein globaler Standard zur Förderung eines offenen und rechenschaftspflichtigen Managements natürlicher Ressourcen. Der Standard soll Regierungs- und Unternehmenssysteme [Mehr anzeigen]Die Extractive Industries Transparency Initiative (EITI) ist ein globaler Standard zur Förderung eines offenen und rechenschaftspflichtigen Managements natürlicher Ressourcen. Der Standard soll Regierungs- und Unternehmenssysteme stärken, die öffentliche Debatte informieren und Vertrauen fördern. In jedem implementierenden Land wird die Initiative durch einen Zusammenschluss von Regierungen, Unternehmen und Organisationen der Zivilgesellschaft unterstützt.
Die GIZ hatte die Evaluation der Initiative in Auftrag gegeben und dabei die folgenden Ziele definiert:
Die Bewertung der Outcomes, der Effektivität und des Impacts (positiv und negativ, intendiert und nicht intendiert) von EITI vor dem Hintergrund des EITI MDTF Results Framework, und die nähere Betrachtung der Verbindungen zwischen Transparenz, Rechenschaftspflicht und wenn möglich weitergehenden Entwicklungszielen.
Die Bewertung der durch EITI entwickelten Theorie des Wandels und des EITI MDTF Results Framework mit dem Ziel, ein verbessertes generisches EITI Zielsystem zu entwickeln und ausgewählte Multi Stakeholder Groups bei der Entwicklung spezifischer nationaler EITI Zielsysteme und der Ableitung wirkungsorientierter Indikatoren zu assistieren.
Diese Ziele und die Komplexität des EITI Kontextes machten ein maßgeschneidertes Design notwendig. Der methodische Ansatz der Evaluation umfasste deswegen:
Makro-quantitative statistische Analysen
Tiefgehende Fallstudien
Partizipative Ansätze in der Operationalisierung, Datenerhebung und der Analyse der Ergebnisse.
Unter der Koordination von LBN Strategies und in Zusammenarbeit mit weiteren Beratern übernahm das Centrum für Evaluation die Führung in der Studienkomponente "Ansätze und Methodologie".
Management: Stefan Silvestrini | Mitarbeit: Christina Gollan, Cornelia RömlingEx-Post und Schlussevaluation, Wirkungsevaluation
Projektstart: Februar 2015
Projektende: Februar 2016
Wirkungsevaluierung des Nachwuchsförderprogramms „Agentes de Cambio“ in Zentralamerika sowie der Dominikanischen Republik
Die Friedrich-Ebert-Stiftung (FES) hatte das Centrum für Evaluation mit der Evaluierung des Nachwuchsförderprogramm "Agentes de Cambio" beauftragt, welches ein zentraler Bestandteil der Stiftungsarbeit ist und [Mehr anzeigen]Die Friedrich-Ebert-Stiftung (FES) hatte das Centrum für Evaluation mit der Evaluierung des Nachwuchsförderprogramm "Agentes de Cambio" beauftragt, welches ein zentraler Bestandteil der Stiftungsarbeit ist und sich über die Länder Costa Rica, Dominikanische Republik, Guatemala, Honduras, El Salvador, Nicaragua und Panama erstreckt. Ziel der Evaluierung war es, die Wirkungen des Nachwuchsförderprogramms in der Summe zu verstehen und gleichzeitig mögliche länderspezifische Besonderheiten herauszuarbeiten und damit die Basis für Empfehlungen zur Weiterentwicklung des Curriculums, zur Anpassung von Projektzielen und -strategien sowie zur Verbesserung von Steuerungsmechanismen zu legen. Darüber hinaus sollte der FES ein praxistaugliches Datenerhebungsinstrument zum Programmmonitoring und zur Evaluierung in den teilnehmenden Ländern an die Hand gegeben werden.
Bei der Evaluierung kombinierte das CEval in einem quasi-experimentellen Untersuchungsdesign teilstandardisierte Online-Erhebungen mit Fokusgruppendiskussionen und leitfadengestützte Experteninterviews.
Management: Stefan Silvestrini | Mitarbeit: Christina GollanAuftraggeber: Friedrich-Ebert-Stiftung
Begleitende Evaluation, Entwicklung M&E-System
Projektstart: Februar 2014
Projektende: Dezember 2015
Aufbau eines wirkungsorientierten M&E-Systems in Deutschland für die Kooperationsplattform Lateinamerika Nord (KOPLAN)
Innovative Umwelt- und Klimatechnologien werden bislang nur in geringem Maße in Zentralamerika und Mexiko genutzt. Eine Ursache hierfür ist die mangelhafte Verbreitung moderner Umwelttechnologien in [Mehr anzeigen]Innovative Umwelt- und Klimatechnologien werden bislang nur in geringem Maße in Zentralamerika und Mexiko genutzt. Eine Ursache hierfür ist die mangelhafte Verbreitung moderner Umwelttechnologien in der Region. Hier setzt KOPLAN ("Kooperationsplattform Lateinamerika Nord") an: Ziel ist die Verbreitung von (deutschen) umwelt- und klimaverträglichen Technologien in Mexiko und Zentralamerika, um so einen Beitrag zum Umweltschutz zu leisten. Die deutsche Umweltwirtschaft hat in den letzten Jahren dabei weltweit eine Vorreiterrolle eingenommen und sich gerade im Bereich anwendungsorientierter Technologien für viele Innovationen verantwortlich gezeichnet. Die Studie verfolgte drei Hauptfragestellungen, nämlich a) die Frage nach dem Exportpotenzial der deutschen Umwelttechnologiebranche, b) ob und inwieweit deutsche Angebote der potenziellen Nachfrage in Mexiko und Zentralamerika entsprechen und c) welche Exporthemmnisse existieren und wie diese überwunden werden können.
Neben einem wirkungsorientierten Monitoring vor Ort in Mexiko war aufgrund der angestrebten Projektwirkungen in Deutschland auch dort ein ergänzendes Monitoring notwendig. Zentrale Aufgabe des Projektes war daher die Entwicklung eines wirkungsorientierten Monitoring- und Evaluationssystems zur Messung der angestrebten Wirkungen von KOPLAN in Deutschland. Hierzu wurden ein umfassendes Indikatorentableau sowie ein Erhebungsplan entwickelt, welche als Grundlage für die Etablierung zweier Panels dienen sollten, um Veränderungen bei den wichtigsten Zielgruppen des Projekts, den deutschen Unternehmen der Umwelttechnologiebranche und zentralen Multiplikatoren der deutschen Umweltwirtschaft, messen zu können. Nach Abschluss der Entwicklung des M&E-Systems wurde das CEval mit der Durchführung der ersten Panelbefragung beauftragt. Dabei wurden quantitative und qualitative Datenerhebungsmethoden angewandt (standardisierte Befragung teilnehmender Unternehmen, einer Vergleichsgruppe und Multiplikatoren, Dokumente- und Sekundärdatenanalyse, leitfadengestützte Experteninterviews).
Management: Reinhard Stockmann | Mitarbeit: Christina GollanAuftraggeber: Deutsche Gesellschaft für Internationale Zusammenarbeit
Ex-Post und Schlussevaluation
Projektstart: September 2015
Projektende: November 2015
Evaluation des Vorhabens „Aufbau bedarfsgerechter und regional harmonisierter Qualitätsinfrastruktur in der Andenregion“
Das CEval wurde von der Physikalisch-Technischen Bundesanstalt (PTB) mit der Evaluation des Vorhabens "Aufbau bedarfsgerechter und regional harmonisierter Qualitätsinfrastruktur in der Andenregion" beauftragt. Das Vorhaben [Mehr anzeigen]Das CEval wurde von der Physikalisch-Technischen Bundesanstalt (PTB) mit der Evaluation des Vorhabens "Aufbau bedarfsgerechter und regional harmonisierter Qualitätsinfrastruktur in der Andenregion" beauftragt.
Das Vorhaben umfasste die Länder Bolivien, Ecuador, Kolumbien und Peru und strebte eine Verbesserung der durch die lokalen Institutionen der Qualitätsinfrastruktur (QI) angebotenen Dienstleistungen an. Die Evaluation orientierte sich an den DAC-Kriterien (Relevanz, Effektivität, Impact, Effizienz, Nachhaltigkeit) und den Komponenten des Managementmodells "Capacity Works" (Strategie, Kooperation, Steuerungsstruktur, Prozesse, Lernen und Innovation). Spezifische Evaluationsfragen waren:
- Wie erfolgreich war das Konzept der Schaffung regionaler QI-Angebote?
- Inwieweit halten die Partner den regionalen Ansatz für sinnvoll?
- Welche Erfolgsfaktoren und Lernerfahrungen lassen sich identifizieren?
- Wie erfolgreich war der Ansatz, sektorbezogene Angebotsstrategien pro Land ausarbeiten zu lassen?
- Welche Erfolgsfaktoren und Lernerfahrungen gibt es dazu?
Zunächst stützte sich die Evaluation ausschließlich auf Projektdokumente, um die Möglichkeit der Durchführbarkeit von rein dokumentbasierten Evaluationen zu beleuchten. Nach einer ersten Einschätzung der Ergebnisse wurden diese durch Interviews mit Projektbeteiligten der PTB und Partnerinstitutionen ergänzt und Empfehlungen für zukünftige Projekte und dokumentenbasierte Evaluationen abgleitet.
Management: Stefan Silvestrini | Mitarbeit: Christina GollanAuftraggeber: Physikalisch-Technische Bundesanstalt
Projektstart: November 2014
Projektende: November 2015
Unterstützung der Aufbereitung von möglichen methodischen Ansätzen zur Evaluierung mittel- und langfristiger Wirkungen der (Politik-) Beratung im spezifischen Kontext des CEPAL-Vorhabens
Die Gesellschaft für Internationale Zusammenarbeit (GIZ) ist im Juli 2014 mit der Durchführung eines zweijährigen TZ-Beratungsvorhabens "Strukturwandel für eine nachhaltige und inklusive Entwicklung" mit der [Mehr anzeigen]Die Gesellschaft für Internationale Zusammenarbeit (GIZ) ist im Juli 2014 mit der Durchführung eines zweijährigen TZ-Beratungsvorhabens "Strukturwandel für eine nachhaltige und inklusive Entwicklung" mit der CEPAL (Wirtschaftskommission für Lateinamerika und die Karibik) beauftragt worden. Vor diesem Hintergrund arbeitet das Vorhaben aktuell mit einem Monitoring-System, welches eine Nachverfolgung der durchgeführten Aktivitäten/Beratungsdienstleistungen der CEPAL (inputs) und deren Nutzung (outputs) erlaubt. Eine Beobachtung der langfristigen Wirkungen findet bisher nur bedingt statt.
Die Hertie-School of Governance (HSoG) wurde mit der Aufbereitung von möglichen methodischen Ansätzen zur Evaluierung mittel- und langfristiger Wirkungen von (Politik-) Beratung im spezifischen Kontext des CEPAL-Vorhabens beauftragt. Da es für eine erfolgreiche Umsetzung des Beratungsprozesses neben Kenntnissen aus der Politikberatung umfassender Expertise in der Evaluationsforschung und -praxis bedarf, ist die HSoG an das Centrum für Evaluation (CEval) herangetreten um dieses als Konsortialpartner zu gewinnen.
Der Beratungsprozess setzt sich dabei aus den folgenden drei Arbeitspaketen zusammen:
Grundlegende Aufbereitung theoretischer Ansätze zur Evaluierung von Politikberatung (unter Bezugnahme auf qualitative Methoden der empirischen Sozialforschung);
Aufarbeitung von praktischen Erfahrungen aus der Politikberatung, wenn möglich in vergleichbaren Kontexten;
Darstellung eines methodischen Ansatzes zur Messung von mittel- und langfristigen Wirkungen aufbauend auf den Erkenntnissen der ersten beiden Arbeitspakete für den spezifischen Kontext des Kooperationsprogramms mit der CEPAL.
Das CEval war schwerpunktmäßig am dritten Arbeitspaket beteiligt und entwickelte einen methodischen Ansatz, welcher eine Kombination von vorhabenübergreifendem Impact- und programmspezifischem Outcome-M&E umfasst. Der Ansatz sieht dabei einen Methodenmix aus Dokumentenanalyse, standardisierten (Online)Befragungen und leitfadengestütztem Expertenpanel vor.
Management: Reinhard Stockmann | Mitarbeit: Christina GollanAuftraggeber: Hertie School
Begleitende Evaluation, Entwicklung M&E-System
Projektstart: Juli 2011
Projektende: Juli 2015
Development and Implementation of a M&E-System for the Plan Honduras Project „Prevention, Protection and rights Restitution for Girls and Boys survivors of sexual violence“
Das übergreifende Ziel des Plan Honduras Projekts war es, Mädchen und Jungen vor sexueller Gewalt zu schützen und ihnen Zugang zu kinderfreundlichen und kompetenten Präventions- [Mehr anzeigen]Das übergreifende Ziel des Plan Honduras Projekts war es, Mädchen und Jungen vor sexueller Gewalt zu schützen und ihnen Zugang zu kinderfreundlichen und kompetenten Präventions- und Versorgungsmechanismen auf lokaler bis nationaler Ebene zu ermöglichen. Um dieses Ziel zu erreichen, entwickelte Plan Honduras ein Programm zur Stärkung von Präventions-, Schutz- und Versorgungsmechanismen in Familien, Gemeinden und auf nationaler Ebene für durch sexuelle Gewalt bedrohte und von sexueller Gewalt betroffene Mädchen und Jungen.
Die Aufgabe des Centrums für Evaluation (CEval) war die Begleitung und Unterstützung bei der Entwicklung und Implementierung eines wirkungsorientierten und geschlechtersensiblen M&E-systems für den Projektzyklus und darüber hinaus. Das CEval beriet Projektverantwortliche und deren Partner und bildete diese aus, um ihnen folgende Kompetenzen zu vermitteln:
Systematisches Monitoring und Evaluation von projektrelevanten Aktivitäten
Identifikation der wichtigsten Aspekte auf allen Wirkungsebenen
Formulierung wirkungsorientierter qualitativer Indikatoren
Entwurf eines Datenerhebungsplans und Erhebungsinstrumenten
Lösung auftretender Herausforderungen während der Datenerhebung und &analyse.
Dieser Wissenstransfer wurde erreicht durch eine Kombination von kontinuierlicher Beratung, Trainingsmaßnahmen und praktischer Umsetzung des Beratungs- und Trainingsinhalts im Rahmen einer begleiteten Baselinestudie (inklusive einer Geschlechteranalyse) und einer begleitenden Zwischen- und Schlussevaluierung.
Management: Reinhard Stockmann | Mitarbeit: Christina GollanAuftraggeber: Plan International Deutschland
Ex-Ante Evaluation
Projektstart: November 2014
Projektende: Januar 2015
Konzeption, (Erst-)Durchführung und Auswertung eines Expertenpanels in Chile zur Analyse qualitativer Rahmenfaktoren des Erneuerbaren Energien Sektors
Die Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ) GmbH unterstützt im Auftrag des Bundesministeriums für Umwelt, Naturschutz, Bau und Reaktorsicherheit (BMUB) das Chilenische Energieministerium bei der [Mehr anzeigen]Die Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ) GmbH unterstützt im Auftrag des Bundesministeriums für Umwelt, Naturschutz, Bau und Reaktorsicherheit (BMUB) das Chilenische Energieministerium bei der Umsetzung von Maßnahmen zur Diversifizierung der Energieversorgung des Landes. Hierfür setzt die GIZ eine Reihe von Vorhaben um, zu denen auch ein Projekt zur Förderung des Ausbaus der Solarenergienutzung zählt. Zu Beginn des Projekts sollten die quantitativen und qualitativen Rahmenfaktoren erfasst werden, die Einfluss auf die Wirksamkeit und Nachhaltigkeit und damit die Zielerreichung des Projekts haben. Insbesondere für die Dokumentation der qualitativen Faktoren waren empirische Daten erforderlich, die im Rahmen eines Expertenpanels, also einer strukturierten Befragung von Energieexperten, erhoben werden sollten.
Die CEval GmbH erbrachte im Rahmen dieses Auftrags die folgenden Leistungen:
- Konzeptentwicklung: Festlegung der zu befragenden Experten in Abstimmung mit GIZ-Mitarbeitern, Erstellung strukturierter und an verschiedene Akteursgruppen angepasster Fragenkataloge, Konzeption der zukünftig periodisch durchzuführenden Panelerhebungen, methodisches Konzept zur längerfristigen Weiterführung des Expertenpanels
- Durchführung der Ersterhebung des Expertenpanels
- Auswertung, Nachbereitung und Berichterstattung der Ersterhebung des Expertenpanels
- Konzeptentwicklung zur Ableitung quantitativer Wirkungen basierend auf der qualitativen Erhebung unter Anwendung des von Stockmann entwickelten "Trichterverfahrens.
Management: Reinhard Stockmann | Mitarbeit: Christina GollanAuftraggeber: Deutsche Gesellschaft für Internationale Zusammenarbeit
Entwicklung M&E-System, Ex-Post und Schlussevaluation
Projektstart: Juni 2014
Projektende: November 2014
Entwicklung eines Monitoring- und Evaluierungsrahmens für das Plan Projekt „Adolescent Boys: Champions of Change on Gender Equality and Girls‘ Rights“
Plan International ist eine nicht-religiöse und nicht-politische Nichtregierungsorganisation welche sich für die dauerhafte Verbesserung der Lebensumstände von Kindern in Afrika, Asien und Lateinamerika einsetzt. Um [Mehr anzeigen]Plan International ist eine nicht-religiöse und nicht-politische Nichtregierungsorganisation welche sich für die dauerhafte Verbesserung der Lebensumstände von Kindern in Afrika, Asien und Lateinamerika einsetzt.
Um die Gleichberechtigung der Geschlechter zu fördern und Jungen und Männer in diese Arbeit zu involvieren, starteten Plan International Deutschland und Plan International Finnland zusammen mit vier Länderbüros aus Lateinamerika das Pilotprojekt "Adolescent Boys: Champions of Change on Gender Equality and Girls Rights". Das Projekt bildete männliche Jugendliche zu Tutoren für Geschlechtergleichstellung aus und wurde in fünf Ländern umgesetzt: El Salvador, Guatemala, Honduras, Dominikanische Republik und Deutschland.
Das Centrum für Evaluation (CEval) evaluierte das Pilotprojekt mit Hilfe quantitativer und qualitativer Methoden, sammelte gemachte Erfahrungen und entwickelte einen Monitoring- und Evaluationsrahmen für die zukünftige Implementierung und Ausweitung des Projekts.
Management: Stefan Silvestrini | Mitarbeit: Christina GollanAuftraggeber: Plan International Deutschland
Begleitende Evaluation
Projektstart: Juli 2013
Projektende: Juni 2014
UNICEF-Mehrländer-Evaluation zu Inklusion aller Kinder in qualifiziertes Lernen in MOEL/GUS Staaten
Die Evaluation bewertete (i) inwiefern UNICEF einen Beitrag geleistet hat, damit die Programminterventionen sich mit wichtigen Kinderrechtsverletzungen im Bereich Bildung befasst, Gleichheitsdiskrepanzen verringert und zu [Mehr anzeigen]Die Evaluation bewertete (i) inwiefern UNICEF einen Beitrag geleistet hat, damit die Programminterventionen sich mit wichtigen Kinderrechtsverletzungen im Bereich Bildung befasst, Gleichheitsdiskrepanzen verringert und zu Wirkungen zur Verbesserung der Situation von Kinder geführt haben. Fernerhin, wurden (ii) Lehren aus den Lernpraktiken, -innovationen und & -modelle gezogen, die für zukünftige Steuerungsprozesse innerhalb UNICEF zur Verfügung gestellt werden.
Der Evaluation lagen daher folgende Ziele zugrunde:
nachzuweisen und zu dokumentieren welche Veränderungen im Leben von Kindern in den letzten zehn Jahren stattgefunden haben,
zu bewerten und zu demonstrieren wie diese Wirkungen durch Systemveränderungen zustande gekommen sind, und
den Beitrag UNICEFs zu diesen Systemveränderungen zu dokumentieren.
Zudem beachtete die Evaluation folgende Aspekte bei der Wirkungsbilanzierung:
Kontextangemessenheit (bezüglich der Anpassung von Programmansätzen an qualitative Unterschiede);
Koordination (mit anderen Stakeholder);
(iii) Koheränz (über verschiedene Politiken und anderen unterstützenden Interventionen); und
Schutz (im Sinne von Angemessenheit von jeweiligen Bildungssystemen auf den Schutz von vulnerablen Gruppen).
Letztlich leistete die Evaluation einen Beitrag dazu, dass zukünftige Programme verbessert werden, indem sie verschiedene Kindergruppen berücksichtigen, die gefährdet sind die Schule abzubrechen bzw. der Schule fernzubleiben.
Management: Stefan Silvestrini | Mitarbeit: Christina GollanAuftraggeber: UNICEF
