Externe Evaluation von vier Projekten im Bereich Bewusstseinsbildung und Erstellung eines Syntheseberichts
Als internationale christliche Entwicklungsorganisation hat sich die Christoffel Blindenmission (CBM) die Verbesserung der Menschenrechtssituation und die Inklusion von Menschen mit Behinderungen zum Ziel gesetzt. Dabei kommt der Bewusstseinsbildung als Komponente zahlreicher Entwicklungsprojekte eine wichtige Rolle zu. CBM Deutschland beauftragte das CEval mit der Evaluation von vier Projekten und der Erstellung eines Syntheseberichts, um mehr über die Implementierung von Bewusstseinsbildungsaktivitäten zu lernen, ihren Beitrag zu CBMs übergeordneten Zielen besser zu verstehen und nachzuvollziehen wie projekt-und länderspezifische Faktoren unterschiedliche Wirkungen produzieren.
Mit Kofinanzierung durch die Europäische Union oder das Bundesministerium für wirtschaftliche Entwicklung und Zusammenarbeit implementiert CBM Deutschland zwei Projekte in den Palästinensischen Gebieten (Gaza-Stadt und Gaza-Streifen), die an den Bedürfnisse von Menschen mit Hörbehinderung ansetzen, ein Projekt in Indien um die augenärztliche Versorgung im ländlichen Raum und die Rehabilitierung von Menschen mit Sehbehinderung zu verbessern und ein Projekt in Swasiland, dass sich für die Stärkung der Rechte von Menschen mit Behinderung und deren Inklusion einsetzt. Diese sehr unterschiedlichen Projekte erlaubten es die Thematik Bewusstseinsbildung von verschiedenen Perspektiven zu untersuchen und somit zu einem besseren Verständnis der verschiedenen Ansätze, zugrundeliegenden Wirkungsketten und (erwarteten) Wirkungen beizutragen. Während die Projekte in Gaza-Stadt und Indien einer Zwischenevaluation unterzogen wurden, wurde für die Projekte im Gaza-Streifen und in Swasiland eine Abschlussevaluation durchgeführt.Entwicklung eines Monitoring- und Evaluierungsrahmens für das Plan Projekt „Adolescent Boys: Champions of Change on Gender Equality and Girls‘ Rights“
Plan International ist eine nicht-religiöse und nicht-politische Nichtregierungsorganisation welche sich für die dauerhafte Verbesserung der Lebensumstände von Kindern in Afrika, Asien und Lateinamerika einsetzt.
Um die Gleichberechtigung der Geschlechter zu fördern und Jungen und Männer in diese Arbeit zu involvieren, starteten Plan International Deutschland und Plan International Finnland zusammen mit vier Länderbüros aus Lateinamerika das Pilotprojekt „Adolescent Boys: Champions of Change on Gender Equality and Girls Rights“. Das Projekt bildete männliche Jugendliche zu Tutoren für Geschlechtergleichstellung aus und wurde in fünf Ländern umgesetzt: El Salvador, Guatemala, Honduras, Dominikanische Republik und Deutschland.
Das Centrum für Evaluation (CEval) evaluierte das Pilotprojekt mit Hilfe quantitativer und qualitativer Methoden, sammelte gemachte Erfahrungen und entwickelte einen Monitoring- und Evaluationsrahmen für die zukünftige Implementierung und Ausweitung des Projekts.
Evaluation von CALIDENA & Partizipatives Instrument zur Qualitätsinfrastrukturentwicklung
Das CEval war von der Physikalisch Technischen Bundesanstalt (PTB) mit der Evaluierung von CALIDENA beauftragt worden, einem partizipativen Instrument zur Unterstützung der systematischen und nachhaltigen Verbesserung von Qualitätsinfrastrukturen in Entwicklungsländern. Die Evaluierung zielte darauf ab, auf Grundlage bisher gesammelter Erfahrungen mit dem Instrument, relevante Informationen für dessen Weiterentwicklung und Übertragung auf neue Kontexte bereitzustellen.
Zu diesem Zweck wendete das CEval einen ausgewogenen Methodenmix an. Zur Informationsgewinnung wuredn qualitative Experteninterviews mit quantitativen Erhebungen, teilnehmenden Beobachtungen und Gruppeninterviews verbunden. Nach deren Auswertung wurden die Ergebnisse in einem Bericht aufbereitet und präsentiert und flossen in eine übergeordnete Evaluationssynthese verschiedener Instrumente der PTB im Bereich Qualitätsinfrastrukturentwicklung ein, die ebenfalls vom CEval durchgeführt wurden.
Synthese von drei Instrumentenevaluationen der Technischen Zusammenarbeit der PTB
Das CEval wurde von der Physikalisch Technischen Bundesanstalt (PTB) mit der Ergebnissynthese dreier Instrumentenevaluationen beauftragt. 2014 hatte die PTB die separate Evaluation von drei Instrumenten ihrer technischen Zusammenarbeit in Auftrag gegeben & CALIDENA, QuISP und NMI-Metrology User Relations & von denen die ersten beiden vom CEval durchgeführt wurden. Ihrer Ergebnisse sollen nun aggregiert, verglichen und kontrastiert werden um übergeordnete Erfolgsfaktoren und Lernerfahrungen zu identifizieren und relevante Empfehlungen abzuleiten, unter anderem mit Blick auf den zukünftigen Einsatz der Instrumente in der technischen Zusammenarbeit der PTB.
Zu diesem Zweck unterzog das CEval die Evaluationsberichte einer qualitativen Inhaltsanalyse und Daten über qualitative Experteninterviews ergänzende Daten. Die Ergebnisse wurden in einem Bericht aufbereitet und der PTB bei einem Workshop präsentiert.
Begleitende Evaluation des Projektes „Media in Libya & Stability through Structure“
Das Projekt „Media in Libya – Stability through Structure“ hatte das übergeordnete Ziel, die Einführung einer modernen Mediengesetzgebung in Libyen zu unterstützen und die Medieninstitutionen des Landes zu stärken. Darüber hinaus sollte das Projekt zu einer Stärkung von unabhängigem und professionellem Journalismus in den Provinzen Libyens beitragen. Das Projekt hatte eine Gesamtlaufzeit von insgesamt 30 Monaten und wurde von der Europäischen Kommission im Rahmen des SPRING Programms gefördert. Gesteuert und umgesetzt wurde das Projekt von der Deutsche Welle-Akademie (Abteilung Medienentwicklung, Team Afrika) in Kooperation mit dem Institute for War and Peace Reporting (IWPR). Die Maßnahmen des Projekts waren in vier Aktivitätscluster untergliedert, von denen die DW-Akademie drei und das IWPR eines bearbeitete. Das CEval evaluierte in diesem Projekt die Cluster 1 bis 3, für deren Umsetzung die DW-Akademie verantwortlich war.
Die Evaluierung des Projekts unterteilte sich in eine Basis-, eine Zwischen- und eine Abschlussevaluation zum Ende der Implementierungsphase. Zur Datengewinnung folgte das CEval einem „mixed-methods“ Ansatz. Dabei wurde eine vertiefende Analyse bereits vorhandener Dokumente vorgenommen und es wurden eigene Erhebungen (standardisierte Onlinebefragungen der Teilnehmer der Trainings und qualitative Leitfadeninterviews mit externen Experten und Verantwortlichen der DW-Akademie) durchgeführt.
Stärkung von Evaluierungskapazitäten in Zentralamerika (FOCEVAL)
Das Vorhaben „Stärkung von Evaluierungskapazitäten in Zentralamerika (FOCEVAL)“ der Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH zielte darauf ab, die Rolle der Evaluation bei der politischen Entscheidungsfindung und der Steuerung von Politikmaßnahmen in Costa Rica und ausgewählten Ländern Zentralamerikas zu stärken. Die Maßnahme war als Regionalvorhaben konzipiert, dessen politische Trägerschaft beim costaricanischen Ministerium für nationale Planung und Wirtschaftspolitik (MIDEPLAN) liegt.
Aufgabe der CEval GmbH war es im Rahmen des ECD-Vorhaben, vor Ort eine Reihe von Fortbildungen zum Thema Monitoring und Evaluation (M&E) auf verschiedenen Anspruchsniveaus für die Partnerstrukturen zu realisieren, wobei die Inhalte der bereits erprobten und mehrfach durchgeführten Kurse dabei die unterschiedlichen Bedarfe der Zielgruppen widerspiegelten. Darüber hinaus bot die CEval GmbH eine kontinuierliche wissenschaftlichen Begleitung für das Regionalvorhaben an, welche eine permanente Anbindung an die aktuelle internationale Evaluationsdiskussion sicherstellte und die Verbindung zu wissenschaftlichen Organisationen und Netzwerken aufrechterhielt. Sie umfasste eine Reihe von Beratungsleistungen, insbesondere bei der Strategie- und Konzeptentwicklung, die auf den neuesten wissenschaftlichen Erkenntnissen der Monitoring- und Evaluationsforschung basierte.
Wirkungsevaluierung der Aktivitäten der HSS im Bereich „Civic Education“ in Kenia
Die Hanns-Seidel-Stiftung (HSS) ist seit mehr als 35 Jahren in der Entwicklungszusammenarbeit aktiv (Stand 2013) und arbeitet seit 1987 im Rahmen ihres Regionalprojekts Ostafrika in Kenia. 2013 sollten erstmals die Aktivitäten im Bereich Civic Education in Kenia einer Wirkungsevaluierung unterzogen werden. Diese Aktivitäten umfassten in erster Linie Weiterbildungsseminare zur politischen Bildung.
Primäres Ziel der Wirkungsevaluierung war es, einen empirisch und methodisch fundierten Nachweis über die Wirksamkeit der Weiterbildungsseminare der HSS in Kenia zu liefern, sowie die zu erwartende Nachhaltigkeit der erzeugten Wirkungen abzuschätzen. Dabei sollten auch die Effizienz der Maßnahmenumsetzung sowie deren Relevanz für die Partner und Zielgruppen bewertet werden.
Zur Beantwortung der Evaluationsfragen war ein aufwändiges quasi-experimentelles Design gewählt worden, das sich durch mehrere Messzeitpunkte und die Einbeziehung von zwei Vergleichsgruppen auszeichnet. Durch die verschiedenen Messzeitpunkte konnten direkte Effekte der Maßnahmen sowie die Veränderung dieser Effekte über einen längeren Zeitraum hinweg beobachtet werden (follow-up). Der Vergleichsgruppenansatz ermöglichte, externe Effekte auf die Zielgruppe auf lokaler und nationaler Ebene zu kontrollieren. Die Datenerhebung erfolgte durch ein Team Studierender der Universität Nairobi, die speziell für diese Aufgabe durch das CEval ausgebildet wurden.
UNICEF-Mehrländer-Evaluation zu Inklusion aller Kinder in qualifiziertes Lernen in MOEL/GUS Staaten
Die Evaluation bewertete (i) inwiefern UNICEF einen Beitrag geleistet hat, damit die Programminterventionen sich mit wichtigen Kinderrechtsverletzungen im Bereich Bildung befasst, Gleichheitsdiskrepanzen verringert und zu Wirkungen zur Verbesserung der Situation von Kinder geführt haben. Fernerhin, wurden (ii) Lehren aus den Lernpraktiken, -innovationen und & -modelle gezogen, die für zukünftige Steuerungsprozesse innerhalb UNICEF zur Verfügung gestellt werden.
Der Evaluation lagen daher folgende Ziele zugrunde:
- nachzuweisen und zu dokumentieren welche Veränderungen im Leben von Kindern in den letzten zehn Jahren stattgefunden haben,
- zu bewerten und zu demonstrieren wie diese Wirkungen durch Systemveränderungen zustande gekommen sind, und
- den Beitrag UNICEFs zu diesen Systemveränderungen zu dokumentieren.
Zudem beachtete die Evaluation folgende Aspekte bei der Wirkungsbilanzierung:
- Kontextangemessenheit (bezüglich der Anpassung von Programmansätzen an qualitative Unterschiede);
- Koordination (mit anderen Stakeholder);
- (iii) Koheränz (über verschiedene Politiken und anderen unterstützenden Interventionen); und
- Schutz (im Sinne von Angemessenheit von jeweiligen Bildungssystemen auf den Schutz von vulnerablen Gruppen).
Letztlich leistete die Evaluation einen Beitrag dazu, dass zukünftige Programme verbessert werden, indem sie verschiedene Kindergruppen berücksichtigen, die gefährdet sind die Schule abzubrechen bzw. der Schule fernzubleiben.
Nachhaltige Wirtschaftsentwicklung Myanmar
Gemeinsam mit dem Deutschen Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) begleitete das CEval drei Vorhaben zur Nachhaltigen Wirtschaftsentwicklung in Myanmar zur Schaffung der Voraussetzungen für deren Wirkungserfassung und Bewertung. Die Beratung trug zur Verbesserung der Qualität, Relevanz und Vollständigkeit der Projektkonzepte und Programmbildung, einschließlich eines kohärenten Ziel- und Wirkungssystems bei. Damit wurden die methodischen Voraussetzungen für einen späteren Wirkungsnachweis sichergestellt. Gegenstand des Beratungsvorhabens waren drei Projekte in den Bereichen Berufliche Bildung, Privatwirtschaftsentwicklung und Finanzsektorreform, aus denen in der Zukunft ein kohärentes Programm im Bereich der Nachhaltigen Wirtschaftsentwicklung gebildet werden soll.
Aufgabe des CEval war es dementsprechend, gemeinsam mit dem DEval:
- einen Beitrag zur Qualität, Relevanz und Vervollständigung der Projektkonzeptionen und zum Aufbau eines kohärenten Ziel- und Wirkungssystems zu leisten
- Voraussetzungen für die Wirkungserfassung und Bewertung der Vorhaben zu schaffen
- einen Beitrag zur Programmbildung zu leisten sowie
- eine Wirkungsevaluierung umzusetzen.
Hierfür waren ein mehrstufiges Analyse- und Beratungskonzept ausgearbeitet worden, das im Kern aus
- der Entwicklung eines umfassenden Wirkungsmodells,
- der Erarbeitung eines entsprechend vollständigen Indikatorentableaus,
- der Umsetzung einer Baseline-Studie sowie
- der Ausarbeitung eines wirkungsorientierten Monitoring-Systems besteht.
Unabhängige Evaluierungen 2013/2014 im Sektor Ländliche Entwicklung: Management und Nutzung natürlicher Ressourcen, sowie Kapazitätenaufbau in Zentralamerika
Im diesem Zyklus der Unabhängigen Evaluierungen wurden drei GIZ-Entwicklungsmaßnahmen durch das CEval evaluiert:
- Förderung nachhaltiger Ressourcennutzung und lokale wirtschaftliche Entwicklung in Honduras (PRORENA), Honduras
- Nachhaltiges Ressourcenmanagement und Förderung unternehmerischer Kompetenzen (MASRENACE), Nicaragua
- Entwicklung und Stärkung von Kompetenzen und Kapazitäten zum Management natürlicher Ressourcen in Zentralamerika (Alianza de Aprendizaje)
Ziel der Evaluierung war es, ein vollständiges Bild der eingetretenen (positiven wie negativen, intendierten und nicht-intendierten) Veränderungen zu liefern (->Ermittlung der Wirkungsbilanz). Dabei folgte das Vorgehen der Logik eines „Trichteransatzes“, indem es zunächst alle für den Sektor relevanten Veränderungen erfasste und in einem zweiten Schritt analysierte, welche dieser Veränderungen ursächlich mit den Programminterventionen in Zusammenhang stehen (->Wirkungsattribution).
Zur Informationsgewinnung und zur Herstellung der kontrafaktischen Situation wendete das CEval einen ausgewogenen Methodenmix an. Dabei erfüllt das CEval u.a. folgende Leistungen:
- Entwicklung eines übergeordneten Wirkungsmodells der drei Vorhaben aus den Projektdokumenten, das der Bewertung der Evaluierung zugrunde liegt,
- Durchführung von qualitativen Interviews mit Schlüsselakteuren und Fokusgruppeninterviews mit Zielgruppen,
- Umsetzung quantitativer Befragungen auf Zielgruppenebene,
- bio-technische Analysen von Bodenproben und Biodiversitätsfaktoren (wie z.B. Erhebung der Bestandsgrundfläche und Anzahl der Baumarten).
Im letzten Schritt wurden die Querschnittsauswertungen aller drei Entwicklungsmaßnahmen in einem Synthesebericht zusammengefasst.