Mid-Term Evaluation of the „ASEAN Secretariat Post 2015 – Institutional Strengthening and Capacity Development“ project (Jakarta, Indonesien)
Das ASEAN Sekretariat (ASEC) und die Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) implementieren gemeinsam das vom Auswärtigen Amt der Bundesrepublik Deutschland geförderte Vorhaben „ASEAN Sekretariat Post 2015 & Organisationsentwicklung und Capacity Development“. Die evaluierte Projektphase begann im Juni 2016 und unterstützte, aufbauend auf vorherigen Capacity Development Aktivitäten, die Professionalisierung der strategischen Verwaltungsabteilungen und Stabsstellen des ASEAN-Sekretariats. Zudem arbeitete es mit Fachabteilungen zusammen, die zu einer Stärkung der ASEAN-Wirtschaftsgemeinschaft beitragen. Um den Fortschritt der Projektphase zu erfassen, wurde das CEval beauftragt eine Zwischenevaluierung anhand der OECD-DAC Kriterien und erweiterten, projektspezifischen Leitfragen durchzuführen. Unter Berücksichtigung des institutionellen Rahmens des ASEC und der Vielfalt an Akteuren, wurde das Design der Kontributionsanalyse und ein Multi-Methoden-Ansatz gewählt.
Dazu wurden leitfadengestützte Interviews mit Schlüsselfiguren und teilstandardisierte Onlinebefragungen der Workshop-Teilnehmer:innen durchgeführt. Projektdokumentationen und Monitoringdaten ergänzen empirische Daten und ermöglichen Triangulation. Ziel der Zwischenevaluation war es Einblicke in aktuellen Fortschritt des Projekts zu erhalten und Lernen für weitere Projektaktivitäten und zukünftige Phasen zu ermöglichen.
Auswertung der Verbraucher:innenbefragung 2018 des Forum Fairer Handel
Seit 2007 gibt das Forum Fairer Handel in unregelmäßigen Abständen repräsentative Befragungen der deutschen Bevölkerung zum Fairen Handel in Auftrag. Auch 2018 hat eine solche Befragung stattgefunden. Neben verschiedenen Facetten des Kaufs fair gehandelter Produkte ging es hierbei auch um die Einstellungen der Befragten gegenüber den politischen Anliegen des Fairen Handels.
Das Forum Fairer Handel hat die CEval GmbH mit der Auswertung der Ergebnisse der Befragung beauftragt. Die Daten wurden deskriptiv statistisch ausgewertet. Bei einzelnen Fragen wurden zudem Unterschiede im Antwortverhalten verschiedener Befragtengruppen untersucht. Bei Fragen, für die bereits Daten aus den vom Forum Fairer Handel beauftragten Erhebungen der Vorjahre existierten, wurden zudem Entwicklungen und Trends im Zeitverlauf dargestellt.
Integration des Programms „Servicestelle Kommunen in der Einen Welt“ (SKEW) in das M&E-System von Engagement Global
Anfang 2012 wurde mit Engagement Global gGmbH auf Bundesebene eine zentrale Einrichtung zur Förderung und Koordination des entwicklungspolitischen Engagements zivilgesellschaftlicher, kommunaler und privatwirtschaftlicher Akteure sowie zur entwicklungspolitischen Informations- und Bildungsarbeit geschaffen. Die SKEW & ein Programm von Engagement Global & fokussiert sich insbesondere auf die Förderung von kommunaler Entwicklungszusammenarbeit. Um sowohl die zweckgemäße Verwendung dieser Mittel, als auch vor allem die Wirksamkeit ihres Einsatzes belegen zu können, hat Engagement Global für alle Fachbereiche und Programme die Grundlagen zur technischen Implementierung eines umfassenden Monitoring- und Evaluations- (M&E) System geschaffen.
Da die SKEW in der damaligen Entwicklung des Monitoringsystems ausgenommen wurde, wurden waren das CEval und ISPO nun damit beauftragt worden, die Einbindung der SKEW in das organisationsweite Monitoringsystem vorzunehmen. Wie bei der Konzeption des hausweiten M&E-Systems werden wurden zuerst die Wirkungsmodelle und Indikatoren überprüft oder entwickelt. Die Zielsetzungen und Indikatoren werden wurden daraufhin in die strategischen Richtungsaussagen von Engagement Global integriert. Um die Erstellung eines Monitoringsystems für die SKEW zu vervollständigen, wird wurde zudem im nächsten Schritt ein Datenerhebungsplan erstellt und die zugehörigen Datenerhebungsinstrumente werden (weiter-) entwickelt.
Formative Evaluation der Out-of-School-Children Initiative (OOSCI)
Im Focus dieser Evaluierung stand die Out-of-School-Children Initiative (OOSCI) von UNICEF und dem UNESCO Institute for Statistics (UIS). Die Initiatve wurde im Jahr 2010 initiiert, um die Anzahl von Kindern, die nicht zur Schule gehen, in den Partnerländern zu reduzieren. Zur Erreichung dieser Zielsetzung wurden einmal umfassende Profile von Kindern, die nicht zur Schule gehen, in jedem Land erstellt, die spezifischen Barrieren in jedem Land identifiziert, die dazu beitragen, dass Kinder nicht zur Schule gehen und Empfehlungen für politische und strategische Änderungen entwickelt, um diese Barrieren zu adressieren.
Die Evaluierung zielte darauf ab, die Validität der Theory of Change und ihrer Annahmen zu testen. Dadurch wurde die Programmlogik gestärkt und der Fortschritt in der Zielerreichung der Reduzierung von Kindern, die nicht die Schule besuchen, bewertet. Außerdem lieferte die Evaluierung detaillierte Informationen über den Nutzen der Initiative für die verschiedenen Stakeholder. Zudem wurden die Ergebnisse der Evaluierung dazu genutzt, den Rechenschaftspflichten gegenüber den Geldgebern nachzukommen.
Im Zentrum der Evaluierung stand eine Dokumentenanalyse zur Bewertung des Fortschritts durch OOSCI für eine Stichprobe von 42 Ländern. Die Inhalte der Dokumente wurden zur Beantwortung der Evaluationsfragen auf einer vierstufigen Skala bewertet. Neben einer deskriptiven Analyse wurden diese Kodierungen auch für eine Qualitative Comparative Analysis (QCA) genutzt. QCA ermöglichte die Analyse, welche Kombinationen von Merkmalen zu einem bestimmten Outcome führt. Zusätzliches Instrument der Datenerhebung war eine Onlinebefragung aller UNICEF Länderbüros. Es wurden weitere qualitative Daten in den USA und in acht Länderbesuchen erhoben. Die Evaluierung wurde zusammen mit Proman und weiteren Consultants durchgeführt. CEval war in der Evaluierung für die Evaluationsmethodik verantwortlich.
Meta-Evaluation von 34 Evaluationsberichten von World Vision Deutschland
Schon zum dritten Mal beauftragte World Vision Deutschland (WVD) das CEval dazu, eine Meta-Evaluation zu Evaluationsberichten von WVDs unterstützen Entwicklungsprogrammen durchzuführen. Insgesamt wurden 34 Evaluationsberichte aus den Finanzjahren 2016 und 2017 analysiert. Als Bewertungsgrundlage diente dabei ein in den vorangegangenen Meta-Evaluationen von CEval und WVD gemeinsam ausgearbeitetes Bewertungsraster, das sich zum Teil auf das international anerkannte BOND-Tool stützt. Das Raster beinhaltet die Kriterien Mitsprache und Inklusion, Transparenz, Methodik, Triangulation, Befriedigung des Informationsbedarfs, Identifizierung des Programmbeitrags, Ergebnisdarstellung sowie das neu ergänzte Kriterium der Nachhaltigkeit. Die Bewertungskriterien wurden anhand von verschiedenen Unterkriterien systematisch bewertet und schließlich in einem zweiten Schritt aggregiert und verbildlicht. Abschließend wurden Ergebnisse mit vorangegangenen Ergebnissen verglichen und erläutert.
Midterm-Review des FKPW-Programms
Im internationalen Vergleich verfügen deutsche Kommunen aufgrund der ausgeprägten kommunalen Selbstverwaltung über vergleichsweise umfangreiche Kompetenzen, welche auch für die Entwicklungszusammenarbeit sehr wertvoll sind. Im Rahmen von kommunalen Partnerschaften führen deutsche Kommunen und Südkommunen gemeinsam Projekte in Kommunen des Globalen Südens durch. Dabei wird technisches Wissen aus der deutschen Kommune in die Partnerkommune transferiert. Die Servicestelle Kommunen der Einen Welt (SKEW) bietet verschiedene Möglichkeiten der Unterstützung des entwicklungspolitischen Engagements kommunaler Partnerschaften.
Eine dieser Fördermöglichkeiten ist das personelle Förderinstrument „Fachkräfte für Kommunale Partnerschaften Weltweit“ (FKPW). Im Rahmen des FKPW-Programms können sich kommunale Partnerschaften auf die Platzierung einer Fachkraft in der Partnerkommune bewerben, die die Schaffung von Strukturen und Kapazitäten vor Ort unterstützt. Ziel des FKPW-Programms ist es, kommunale Partnerschaften und den Einsatz der deutschen Kommune durch den Einsatz einer Fachkraft besser in Wert zu setzen.
Die CEval GmbH wurde von der GIZ mit der Durchführung eines Midterm-Reviews des FKPW-Programms beauftragt. Ziel des Reviews war es, die Sichtweisen der verschiedenen in das Programm involvierten Akteur:innen zusammen zu tragen und Empfehlungen für die weitere Ausgestaltung des Programms zu geben. Oberstes Ziel war somit das institutionelle Lernen auf Seiten der beiden durchführenden Organisationen, GIZ und SKEW. Am Ziel des Reviews orientiert war die Methodik rein qualitativ und basierte auf der Vorgehensweise der offenen Perspektivenerfassung. Für das Review wurden Interviews und Fokusgruppendiskussionen mit Vertreter:innen der deutschen Kommunen, der Partnerkommunen, mit den Fachkräften und dem Steuerungsteam des Programms sowie mit Vertreterinnen des zuständigen BMZ-Referates und Vertreter:innen verschiedener Bereiche innerhalb der GIZ und SKEW geführt.
Beratungstätigkeit des ASEAN Sekretariats zur Ausarbeitung eines methodischen und operativen Rahmenkonzepts zum systematischen Wirkungsmonitoring
CEval wurde von der Deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) beauftragt im Rahmen des ASEAN Sekretariat Post 2015 & Organisationsentwicklung und Capacity Development Projekts das ASEAN Sekretariat bei der Ausarbeitung eines methodischen und operativen Rahmenkonzepts zum systematischen Wirkungsmonitoring zu beraten.
Dabei galt es vor allem die Evaluierungsprozesse des ASEAN-Sekretariats zu untersuchen und fachliche Unterstützung für die Neudefinierung des Wirkungsmonitorings des ASEAN-Sekretariats, mit Schwerpunkt aurf ASEAN-Kooperationsprojekte, zu leisten.
Im Rahmen der Beratung wurden eine Reihe von Interviews mit den verantwortlichen M&E-Abteilungen sowie ein dreitägiges Methodentraining durchgeführt. Dabei wurden nicht nur die M&E-Kapazitäten von Mitarbeitern gestärkt, sondern auch ein gemeinsames Diskussionsforum für verschiedene Abteilungen geschaffen. Dies war besonders wichtig um Meinungen und Erfahrungen auszutauschen und Akzeptanz gegenüber dem neuen PMEFs zu schaffen. Der Abschlussbericht fasst wichtige Erkenntnisse zusammen, erörtert Best Practices anderer Akteure und beschreibt Konzepte, mögliche Mechanismen und Empfehlungen zur Implementierung eines funktionalen PMEFs.
Meta-Evaluation von Projekt- und Programmevaluationen 2015-2017 des finnischen Außenministeriums
Das finnische Außenministerium beauftragte das CEval zusammen mit Particip und Indufor eine Meta-Evaluation ihrer Evaluationen von Programmen und Projekten der Entwicklungszusammenarbeit durchzuführen. Das finnische Ministerium führt regelmäßig Meta-Evaluationen durch und im Fokus dieser Meta-Evaluation standen die Evaluierungen von 2015-2017.
Zielsetzung dieser Meta-Evaluierung war zum einen die Verbesserung von Evaluierungsberichten, die Praxis des Evaluierungsmanagements und Entwicklung von Evaluierungskapazitäten und die Identifizierung möglicher Lücken in der finnischen Evaluierungspraxis. Darüber hinaus standen auch die Inhalte der Evaluationsberichte im Fokus, z. B. wurden das Erreichen der DAC-Kriterien und weitere finnische Querschnittsthemen wie Gleichberechtigung von Mann und Frau oder nachhaltige Klimapolitik evaluiert.
Methodisch stand dabei eine Dokumentenanalyse der Evaluierungsberichte im Mittelpunkt der Meta-Bewertung, um zunächst die Qualität und anschließend den Inhalt der Evaluierungsberichte zu bewerten. Verschiedene Bewertungsinstrumente wurden entwickelt, um einen einfach durchführbaren und verlässlichen Bewertungsprozess zu ermöglichen. Im Rahmen der Qualitätsprüfung wurden die Evaluierungsberichte auf das Vorhandensein von Informationen überprüft, die für das Verständnis der Evaluierung (Gegenstand, Prozess und Ergebnisse) wesentlich sind. Zusätzlich wurden methodische Anforderungen wie z. B. die Daten- und Methodentriangulation oder der logische Fluss von den Daten über Ergebnisse und Schlussfolgerungen zu den Empfehlungen bewertet. Ein weiteres Tool wurde für die inhaltliche Analyse genutzt, bei der die Ergebnisse im Detail hinsichtlich der verschiedenen Bewertungskriterien sowie Schlussfolgerungen und Empfehlungen semi-standardisiert analysiert wurden.
Hochschulkooperation mit der Universität von Costa Rica (UCR) und der Päpstlichen Katholischen Universität von Ecuador (PUCE)
Die Universität des Saarlandes (UdS) und die Universität von Costa Rica (UCR) pflegen seit 2008 eine intensive Zusammenarbeit, welche zwischen 2012 und 2015 durch das DAAD Programm „Fachbezogene Partnerschaften mit Hochschulen und Entwicklungsländern“ unterstützt wurde. Durch das DAAD-Beraterprogramm war bereits die vorangegangene Zusammenarbeit der beiden Hochschulen finanziell unterstützt worden. Vor dem Hintergrund eines stetig steigenden Bedarfs an Evaluationen und Evaluationskompetenzen waren beide Partner bestrebt, die Zusammenarbeit im Rahmen des DAAD-Programms weiterzuführen und durch die Einbindung einer weiteren Partnerschule nachhaltig auszuweiten. Hierfür konnte die Päpstliche Katholische Universität von Ecuador (PUCE) gewonnen werden.
Kernstücke dieser dritten Phase der Kooperation war die Einführung eines neuen Blended Learning Masterstudiengangs in Evaluation an der PUCE bzw. eines Blended Learning Weiterbildungsangebotes am Centrum für Forschung und Weiterbildung in Öffentlicher Verwaltung (CICAP) der UCR sowie die Qualitätssicherung der Aus- und Weiterbildung in Evaluation in Costa Rica, Ecuador und Lateinamerika (Verbesserung der Aus- und Weiterbildung sowie der Forschung in Evaluation). Zudem standen der Aufbau eines lateinamerikanischen Hochschulnetzwerkes im Fachbereich Evaluation (Netzwerkbildung und Internationalisierung), die Stärkung des Praxisbezugs der akademischen Evaluationsausbildung sowie der Beitrag zu evidenzbasiertet Politikgestaltung (Anwendung wissenschaftlicher Evaluationsforschung in der politischen Praxis) und schließlich die Vertiefung und institutionelle Erweiterung der Zusammenarbeit zwischen den beteiligten Universitäten sowie dem Forschungsinstitut CICAP (Dreiecks- und Süd-Süd-Kooperation) auf dem Programm der auf vier Jahre angelegten Partnerschaft.
Entwicklung eines Handbuchs zur Einführung und Nutzung von wirkungsorientierten M&E-Ansätzen im Bereich Anpassung an den Klimawandel
Projekte zur Anpassung an den Klimawandel benötigen ein methodisch ausgereiftes M&E-System, das sich nicht auf das Messen von Effekten auf Outputebene begrenzt, sondern Outcomes und Impacts sowie die Attribution von nachgelagerten Wirkungen zu den Projektaktivitäten berücksichtigt.
Die GIZ ist an das Centrum für Evaluation (CEval) mit Bitte um fachliche Unterstützung bei der Entwicklung eines praxistauglichen Ansatzes zur Impact Evaluation in diesem Bereich herangetreten. Zum einen hat das CEval verschiedene Designs der rigorosen Impact Evaluation zusammengestellt und zum anderen Beispiele zu deren Anwendbarkeit im Kontext von Anpassungsprojekten herausgearbeitet. Ergebnisse wurden in einem Handbuch zur Einführung und Nutzung von wirkungsorientierten M&E-Ansätzen im Bereich Anpassung an den Klimawandel festgehalten. Das Handbuch richtet sich an Mitarbeiterinnen und Mitarbeiter der Ministerien, der Geberinstitutionen und anderer relevanter Organisationen, die Projekte zur Anpassung an den Klimawandel entwickeln, umsetzen, prüfen und verbessern wollen.
