Projekt-Kategorien: Entwicklungszusammenarbeit

Meta-Evaluation von Projekt- und Programmevaluationen 2015-2017 des finnischen Außenministeriums

Das finnische Außenministerium beauftragte das CEval zusammen mit Particip und Indufor eine Meta-Evaluation ihrer Evaluationen von Programmen und Projekten der Entwicklungszusammenarbeit durchzuführen. Das finnische Ministerium führt regelmäßig Meta-Evaluationen durch und im Fokus dieser Meta-Evaluation standen die Evaluierungen von 2015-2017.

Zielsetzung dieser Meta-Evaluierung war zum einen die Verbesserung von Evaluierungsberichten, die Praxis des Evaluierungsmanagements und Entwicklung von Evaluierungskapazitäten und die Identifizierung möglicher Lücken in der finnischen Evaluierungspraxis. Darüber hinaus standen auch die Inhalte der Evaluationsberichte im Fokus, z. B. wurden das Erreichen der DAC-Kriterien und weitere finnische Querschnittsthemen wie Gleichberechtigung von Mann und Frau oder nachhaltige Klimapolitik evaluiert.

Methodisch stand dabei eine Dokumentenanalyse der Evaluierungsberichte im Mittelpunkt der Meta-Bewertung, um zunächst die Qualität und anschließend den Inhalt der Evaluierungsberichte zu bewerten. Verschiedene Bewertungsinstrumente wurden entwickelt, um einen einfach durchführbaren und verlässlichen Bewertungsprozess zu ermöglichen. Im Rahmen der Qualitätsprüfung wurden die Evaluierungsberichte auf das Vorhandensein von Informationen überprüft, die für das Verständnis der Evaluierung (Gegenstand, Prozess und Ergebnisse) wesentlich sind. Zusätzlich wurden methodische Anforderungen wie z. B. die Daten- und Methodentriangulation oder der logische Fluss von den Daten über Ergebnisse und Schlussfolgerungen zu den Empfehlungen bewertet. Ein weiteres Tool wurde für die inhaltliche Analyse genutzt, bei der die Ergebnisse im Detail hinsichtlich der verschiedenen Bewertungskriterien sowie Schlussfolgerungen und Empfehlungen semi-standardisiert analysiert wurden.

Hochschulkooperation mit der Universität von Costa Rica (UCR) und der Päpstlichen Katholischen Universität von Ecuador (PUCE)

Die Universität des Saarlandes (UdS) und die Universität von Costa Rica (UCR) pflegen seit 2008 eine intensive Zusammenarbeit, welche zwischen 2012 und 2015 durch das DAAD Programm „Fachbezogene Partnerschaften mit Hochschulen und Entwicklungsländern“ unterstützt wurde. Durch das DAAD-Beraterprogramm war bereits die vorangegangene Zusammenarbeit der beiden Hochschulen finanziell unterstützt worden. Vor dem Hintergrund eines stetig steigenden Bedarfs an Evaluationen und Evaluationskompetenzen waren beide Partner bestrebt, die Zusammenarbeit im Rahmen des DAAD-Programms weiterzuführen und durch die Einbindung einer weiteren Partnerschule nachhaltig auszuweiten. Hierfür konnte die Päpstliche Katholische Universität von Ecuador (PUCE) gewonnen werden.
Kernstücke dieser dritten Phase der Kooperation war die Einführung eines neuen Blended Learning Masterstudiengangs in Evaluation an der PUCE bzw. eines Blended Learning Weiterbildungsangebotes am Centrum für Forschung und Weiterbildung in Öffentlicher Verwaltung (CICAP) der UCR sowie die Qualitätssicherung der Aus- und Weiterbildung in Evaluation in Costa Rica, Ecuador und Lateinamerika (Verbesserung der Aus- und Weiterbildung sowie der Forschung in Evaluation). Zudem standen der Aufbau eines lateinamerikanischen Hochschulnetzwerkes im Fachbereich Evaluation (Netzwerkbildung und Internationalisierung), die Stärkung des Praxisbezugs der akademischen Evaluationsausbildung sowie der Beitrag zu evidenzbasiertet Politikgestaltung (Anwendung wissenschaftlicher Evaluationsforschung in der politischen Praxis) und schließlich die Vertiefung und institutionelle Erweiterung der Zusammenarbeit zwischen den beteiligten Universitäten sowie dem Forschungsinstitut CICAP (Dreiecks- und Süd-Süd-Kooperation) auf dem Programm der auf vier Jahre angelegten Partnerschaft.

Entwicklung eines Handbuchs zur Einführung und Nutzung von wirkungsorientierten M&E-Ansätzen im Bereich Anpassung an den Klimawandel

Projekte zur Anpassung an den Klimawandel benötigen ein methodisch ausgereiftes M&E-System, das sich nicht auf das Messen von Effekten auf Outputebene begrenzt, sondern Outcomes und Impacts sowie die Attribution von nachgelagerten Wirkungen zu den Projektaktivitäten berücksichtigt.

Die GIZ ist an das Centrum für Evaluation (CEval) mit Bitte um fachliche Unterstützung bei der Entwicklung eines praxistauglichen Ansatzes zur Impact Evaluation in diesem Bereich herangetreten. Zum einen hat das CEval verschiedene Designs der rigorosen Impact Evaluation zusammengestellt und zum anderen Beispiele zu deren Anwendbarkeit im Kontext von Anpassungsprojekten herausgearbeitet. Ergebnisse wurden in einem Handbuch zur Einführung und Nutzung von wirkungsorientierten M&E-Ansätzen im Bereich Anpassung an den Klimawandel festgehalten. Das Handbuch richtet sich an Mitarbeiterinnen und Mitarbeiter der Ministerien, der Geberinstitutionen und anderer relevanter Organisationen, die Projekte zur Anpassung an den Klimawandel entwickeln, umsetzen, prüfen und verbessern wollen.

Aufbereitung methodischer Ansätze und Erfahrungen zur Wirkungsevaluation von Trainingsmaßnahmen im öffentlichen Sektor

Gemeinsam mit dem in Costa Rica ansässigen Institut CICAP beriet das CEval das GIZ-Vorhaben CADESAN in der Andenregion. Das Regionalvorhaben unterstützt die Entwicklung von Capacity Building Angeboten in den Bereichen Dezentralisierung und Modernisierung der öffentlichen Verwaltung.
Der Beratungsauftrag zielte darauf ab, der GIZ und ihren Partnerinstitutionen in der Region eine Analyse und Aufbereitung möglicher methodischer Ansätze zur Verfügung zu stellen, um die Wirkungen entsprechender Capacity Building und Trainingsmaßnahmen zu evaluieren. Hierzu wurden verschiedene Ansätze und Evaluationsdesigns, deren Anwendbarkeit auf den genannten Bereich sowie internationale Erfahrungen und Praktiken aufbereitet. Die Ergebnisse wurden bei einem Training mit der GIZ und ihren Partnern diskutiert.

Lab2Venture: Unternehmerisches Denken und Handeln in Lernort Laboren

Das von der Deutschen Kinder- und Jugendstiftung (DKJS), dem LernortLabor des Bundesverbandes der Schülerlabore e.V. (LeLa) und des TheoPrax-Zentrums des Fraunhofer Instituts für Chemische Technologie (TheoPrax) durchgeführte Vorhaben „Lab2Venture: Unternehmerisches Denken und Handeln in Lernort Laboren“ zielte darauf ab, Schülerlabore in die Lage zu versetzen, interessierte Schülerinnen und Schüler nicht nur in naturwissenschaftlicher Projektarbeit zu begleiten, sondern darüber hinaus dahin zu führen, dass sie eine Unternehmensgründung als realisierbar erkennen.

Insgesamt wurden über die drei Module hinweg bundesweit zehn Schülerlabore bei der Verknüpfung von naturwissenschaftlich-technisch orientierten Themen mit der Wirtschaftswelt sowie beim Aufbau von Schülerfirmen über einen Zeitraum von gut einem Jahr begleitend unterstützt. Zielgruppen des Vorhabens waren primär ca. 200 14-17-jährige Jugendliche, die während Modul II in den ausgewählten Schülerlaboren experimentierten, forschten und Produktideen entwickeln sollten.

Des Weiteren gehörten auch die Mitarbeiter:innen in den Laboren (d.h. Wissenschaftler:innen, Laborangestellte sowie Lehrer:innen und studentische Hilfskräfte) zu den Zielgruppen. Langfristig sollten die Mitarbeiter:innen über das Projekt hinaus als Multiplikatoren für die Weiterverbreitung des unternehmerischen Handlungswissens im Rahmen ihrer Lehrtätigkeit fungieren.

Ziel der Evaluation war es, unter Einbezug der Beteiligten systematisch Rückmeldungen und Anmerkungen über das Projekt zu gewinnen und diese mit der qualitativen Zielerreichung in Beziehung zu setzen. Ein besonderes Augenmerk wurde dabei auf die Prozessorientierung gelegt, die zur Weiterentwicklung sowie der möglichen Ausweitung des Vorhabens, nach dem Ende der Modellphase in Dezember 2013, beitragen sollte. Aufgabe der Evaluation war es entsprechend zu überprüfen, inwieweit die Zielsetzungen für beide o.g. Zielgruppen erreicht wurden, also in welchem Maße unternehmerische Themen erlernt, angewendet, beherrscht, weiterverfolgt etc. wurden.

Für die prozessorientierte Evaluation des Lab2Venture Projekts wendete die CEval GmbH ein Paneldesign an, welches auf einer Kombination aus qualitativen und quantitativen Datenerhebungs- und auswertungsverfahren fußte. die Datenerhebung erfolgte projektbegleitend an drei Erhebungszeitpunkten.

Projektevaluierung und Prüfung einer Folgemaßnahme des GIZ Sektorvorhabens Inklusion von Menschen mit Behinderungen

Im Rahmen der Projektevaluierung wurde geprüft inwiefern das Sektorvorhaben Inklusion von Menschen mit Behinderungen der Deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) entwicklungspolitische Wirkungen entfalten konnte.

In Anlehnung an die OECD-DAC Kriterien wurden Experteninterviews und Fokusgruppendiskussionen geführt sowie M&E-Daten des Sektorvorhabens und weiterführende Dokumente systematisch ausgewertet. Damit wurde ein Beitrag zur Rechenschaftslegung gegenüber dem Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) geleistet, durch die Veröffentlichung eines Kurzberichts den Anforderungen der International Aid Transparency Initiative (IATI) nachgekommen sowie die Grundlage für die Planung einer Folgemaßnahme gelegt.

Evaluation der Initiative „Schulen & Partner der Zukunft“ (PASCH)

Die im Jahr 2008 ins Leben gerufene Initiative „Schulen & Partner der Zukunft“ (PASCH) gehört zu den zentralen Initiativen der Auswärtigen Kultur- und Bildungspolitik der aktuellen Legislaturperiode. PASCH ist ein weltweites Netzwerk von derzeit ca. 1800 Partnerschulen mit hoher Deutschlandbindung, an denen verstärkt Deutsch unterrichtet wird. Die Initiative bündelt breit gefächerte Maßnahmen, die dazu beitragen sollen, lebendige, langfristige Bindungen zu Deutschland aufzubauen und die Schulen, ihre Lehrkräfte sowie Schüler:innen zum Austausch und zur Zusammenarbeit anzuregen. PASCH wird vom Auswärtigen Amt koordiniert und gemeinsam mit der Zentralstelle für das Auslandsschulwesen (ZfA), dem Goethe-Institut (GI), dem Pädagogischen Austauschdienst (PAD), der Kultusministerkonferenz (KMK) und dem Deutschen Akademischen Austauschdienst (DAAD) umgesetzt.
Im Rahmen der Evaluation wurde PASCH hinsichtlich Relevanz, Effizienz, Effektivität, Wirksamkeit (Impact) und Nachhaltigkeit überprüft. Dabei wurde auch untersucht, inwiefern sich die bestehenden Angebote, Prozesse und Strukturen zukünftig zur Zielerreichung eignen. Auf Basis der Ergebnisse wurden Empfehlungen zur Optimierung der Maßnahmen, Prozesse und Strukturen und zur Schaffung von Synergien abgeleitet.
Die Evaluation fand in zwei Phasen statt: In der ersten Phase wurden die Dokumentenanalysen sowie persönliche und telefonische leitfadengestützte Interviews mit Stakeholdern in Deutschland und ausgewählten Partnerländern (Polen, Türkei, China) geführt. Schwerpunkt der zweiten Phase war eine breit angelegte quantitative Onlinebefragung mit den PASCH-Zielgruppen in insgesamt zehn Partnerländern.

Evaluation des Projekts „Media in Libya: Stability through reconciliation“

Evaluationsgegenstand war das Projekt „Media in Libya: Stability through reconciliation“ (MLSR) der DW Akademie. MLSR war ein Nachfolgeprojekt von „Media in Libya: Stability through Structure“. Das übergeordnete Ziel von MLSR lautete:“Enabling a process of public discourse and eventually reconciliation across a fragmented Libyan society & prerequisites for development of democratic reform and constitutional process in the country.“ by „promoting [the] right to access to information to the people of Libya and [the] freedom of expression in Libya“. Zum Erreichen dieser Zielsetzung setzte die DW Akademie auf vier Aktivitäten-Cluster: (1) Unterstützung (öffentlicher) Institutionen in Libyen im Bereich „media governance“, (2) Entwicklung eines Mediennetzwerks in Libyen, (3) Training freier Journalisten aus allen Regionen Libyens mit einem besonderen Fokus auf ethnische Minderheiten und Geschlechterfragen, (4) Bereitstellung von Fördermöglichkeiten für Libysche Medienprojekte.

Die Evaluation von MLSR war als Wirkungsevaluation angelegt. Es ist daher erforderlich, Daten zum Zeitpunkt des Maßnahmenbeginns (Baseline) zu erheben, eine Zwischenevaluation erfolgte in der ersten Jahreshälfte 2019. Durch Vergleich der Befunde aus Baselinestudie und Zwischenevaluation konnten erste Effekte von MLSR identifiziert und bewertet werden. Darüber hinaus konnten erste Empfehlungen zur Projektoptimierung (z. B. Identifikation [weniger] erfolgreicher Projektstrategien, alternative Vorgehensweisen) gegeben werden. Die dritte Evaluationsphase (Schlussevaluation) startete zum Projektende. Hauptziel der Schlussevaluation war die Bewertung der Zielerreichung von MLSR. Durch die drei Erhebungszeitpunkte konnte eine längsschnittliche Analyse der Mechanismen, Prozesse und Effekte von MLSR realisiert werden.

Methodisch wurde vor dem Hintergrund der sehr volatilen und schwierigen Rahmenbedingungen in Libyen ein robuster Mixed-Method-Ansatz verfolgt: Sekundäranalyse vorhandener Dokumente/Daten, Inhaltsanalyse kurzer schriftlicher und tiefgehender mündlicher Befragungen sowie statistische Analyse quantitativer Daten aus einer standardisierten Fragebogenerhebung.

Evaluation der Fördertätigkeit der Stiftung Umwelt und Entwicklung Nordrhein-Westfalen

Seit ihrer Gründung im Jahr 2001 fördert die Stiftung Umwelt und Entwicklung Nordrhein-Westfalen die vornehmlich ehrenamtliche umwelt- und entwicklungspolitische Arbeit zivilgesellschaftlicher Gruppen. Ziel der Stiftungsarbeit ist es, die umwelt- und entwicklungspolitische Arbeit in Nordrhein-Westfalen (NRW) zu unterstützen, um diese Arbeit im Bewusstsein und im praktischen Engagement der Bevölkerung dauerhaft und auf der Höhe der Zeit zu etablieren.

Hierfür wurden in NRW bis zum Evaluationszeitpunkt etwa 1.100 Vorhaben gemeinnütziger Träger mit einem Volumen von 47,5 Mio. Euro unterstützt. Hinzu kommen Eigenprojekte der Stiftung, die durch diese operativen Tätigkeiten und ihre Öffentlichkeitsarbeit ebenfalls die Umsetzung der Agenda 21 der UN-Konferenz für Umwelt und Entwicklung von Rio de Janeiro im Jahr 1994 und die sich daran anschließenden Prozesse voranbringen möchte. Im Rahmen der Evaluation wurden die Ergebnisse und Wirkungen der Förderaktivitäten der Stiftung erfasst und bewertet und Erkenntnisse über mögliche hemmende und/oder fördernde Faktoren in der Förderarbeit der Stiftung in Bezug auf die Stiftungsziele generiert.

Die Datengewinnung basierte auf einem mixed-methods-Ansatz, d.h. es erfolgte eine vertiefende Analyse bereits vorhandener Dokumente und Daten der Stiftung und von geförderten Projekten. Zudem wurden im Rahmen von qualitativen Erhebungen (leitfadengestützte Einzel- und Gruppeninterviews) und einer quantitativen Befragung der laufenden und abgeschlossenen Projekte Primärdaten zur Zielerreichung und Wirksamkeit der Fördertätigkeit der Stiftung erhoben und ausgewertet. Auf Basis dieser Erkenntnisse wurden schließlich Empfehlungen zu Schwerpunktsetzungen der Stiftung hinsichtlich Inhalten, Akteuren, Zielgruppen und die angewandten Methoden und Formate abgeleitet.

Untersuchung der Effektivität und des Impact der Extractive Industries Transparency Initiative (EITI)

Die Extractive Industries Transparency Initiative (EITI) ist ein globaler Standard zur Förderung eines offenen und rechenschaftspflichtigen Managements natürlicher Ressourcen. Der Standard soll Regierungs- und Unternehmenssysteme stärken, die öffentliche Debatte informieren und Vertrauen fördern. In jedem implementierenden Land wird die Initiative durch einen Zusammenschluss von Regierungen, Unternehmen und Organisationen der Zivilgesellschaft unterstützt.
Die GIZ hatte die Evaluation der Initiative in Auftrag gegeben und dabei die folgenden Ziele definiert:

• Die Bewertung der Outcomes, der Effektivität und des Impacts (positiv und negativ, intendiert und nicht intendiert) von EITI vor dem Hintergrund des EITI MDTF Results Framework, und die nähere Betrachtung der Verbindungen zwischen Transparenz, Rechenschaftspflicht und wenn möglich weitergehenden Entwicklungszielen.
• Die Bewertung der durch EITI entwickelten Theorie des Wandels und des EITI MDTF Results Framework mit dem Ziel, ein verbessertes generisches EITI Zielsystem zu entwickeln und ausgewählte Multi Stakeholder Groups bei der Entwicklung spezifischer nationaler EITI Zielsysteme und der Ableitung wirkungsorientierter Indikatoren zu assistieren.

Diese Ziele und die Komplexität des EITI Kontextes machten ein maßgeschneidertes Design notwendig. Der methodische Ansatz der Evaluation umfasste deswegen:

• Makro-quantitative statistische Analysen
• Tiefgehende Fallstudien
• Partizipative Ansätze in der Operationalisierung, Datenerhebung und der Analyse der Ergebnisse.

Unter der Koordination von LBN Strategies und in Zusammenarbeit mit weiteren Beratern übernahm das Centrum für Evaluation die Führung in der Studienkomponente „Ansätze und Methodologie“.