Formative Evaluation der Out-of-School-Children Initiative (OOSCI)
Im Focus dieser Evaluierung stand die Out-of-School-Children Initiative (OOSCI) von UNICEF und dem UNESCO Institute for Statistics (UIS). Die Initiatve wurde im Jahr 2010 initiiert, um die Anzahl von Kindern, die nicht zur Schule gehen, in den Partnerländern zu reduzieren. Zur Erreichung dieser Zielsetzung wurden einmal umfassende Profile von Kindern, die nicht zur Schule gehen, in jedem Land erstellt, die spezifischen Barrieren in jedem Land identifiziert, die dazu beitragen, dass Kinder nicht zur Schule gehen und Empfehlungen für politische und strategische Änderungen entwickelt, um diese Barrieren zu adressieren.
Die Evaluierung zielte darauf ab, die Validität der Theory of Change und ihrer Annahmen zu testen. Dadurch wurde die Programmlogik gestärkt und der Fortschritt in der Zielerreichung der Reduzierung von Kindern, die nicht die Schule besuchen, bewertet. Außerdem lieferte die Evaluierung detaillierte Informationen über den Nutzen der Initiative für die verschiedenen Stakeholder. Zudem wurden die Ergebnisse der Evaluierung dazu genutzt, den Rechenschaftspflichten gegenüber den Geldgebern nachzukommen.
Im Zentrum der Evaluierung stand eine Dokumentenanalyse zur Bewertung des Fortschritts durch OOSCI für eine Stichprobe von 42 Ländern. Die Inhalte der Dokumente wurden zur Beantwortung der Evaluationsfragen auf einer vierstufigen Skala bewertet. Neben einer deskriptiven Analyse wurden diese Kodierungen auch für eine Qualitative Comparative Analysis (QCA) genutzt. QCA ermöglichte die Analyse, welche Kombinationen von Merkmalen zu einem bestimmten Outcome führt. Zusätzliches Instrument der Datenerhebung war eine Onlinebefragung aller UNICEF Länderbüros. Es wurden weitere qualitative Daten in den USA und in acht Länderbesuchen erhoben. Die Evaluierung wurde zusammen mit Proman und weiteren Consultants durchgeführt. CEval war in der Evaluierung für die Evaluationsmethodik verantwortlich.
Meta-Evaluation von 34 Evaluationsberichten von World Vision Deutschland
Schon zum dritten Mal beauftragte World Vision Deutschland (WVD) das CEval dazu, eine Meta-Evaluation zu Evaluationsberichten von WVDs unterstützen Entwicklungsprogrammen durchzuführen. Insgesamt wurden 34 Evaluationsberichte aus den Finanzjahren 2016 und 2017 analysiert. Als Bewertungsgrundlage diente dabei ein in den vorangegangenen Meta-Evaluationen von CEval und WVD gemeinsam ausgearbeitetes Bewertungsraster, das sich zum Teil auf das international anerkannte BOND-Tool stützt. Das Raster beinhaltet die Kriterien Mitsprache und Inklusion, Transparenz, Methodik, Triangulation, Befriedigung des Informationsbedarfs, Identifizierung des Programmbeitrags, Ergebnisdarstellung sowie das neu ergänzte Kriterium der Nachhaltigkeit. Die Bewertungskriterien wurden anhand von verschiedenen Unterkriterien systematisch bewertet und schließlich in einem zweiten Schritt aggregiert und verbildlicht. Abschließend wurden Ergebnisse mit vorangegangenen Ergebnissen verglichen und erläutert.
Midterm-Review des FKPW-Programms
Im internationalen Vergleich verfügen deutsche Kommunen aufgrund der ausgeprägten kommunalen Selbstverwaltung über vergleichsweise umfangreiche Kompetenzen, welche auch für die Entwicklungszusammenarbeit sehr wertvoll sind. Im Rahmen von kommunalen Partnerschaften führen deutsche Kommunen und Südkommunen gemeinsam Projekte in Kommunen des Globalen Südens durch. Dabei wird technisches Wissen aus der deutschen Kommune in die Partnerkommune transferiert. Die Servicestelle Kommunen der Einen Welt (SKEW) bietet verschiedene Möglichkeiten der Unterstützung des entwicklungspolitischen Engagements kommunaler Partnerschaften.
Eine dieser Fördermöglichkeiten ist das personelle Förderinstrument „Fachkräfte für Kommunale Partnerschaften Weltweit“ (FKPW). Im Rahmen des FKPW-Programms können sich kommunale Partnerschaften auf die Platzierung einer Fachkraft in der Partnerkommune bewerben, die die Schaffung von Strukturen und Kapazitäten vor Ort unterstützt. Ziel des FKPW-Programms ist es, kommunale Partnerschaften und den Einsatz der deutschen Kommune durch den Einsatz einer Fachkraft besser in Wert zu setzen.
Die CEval GmbH wurde von der GIZ mit der Durchführung eines Midterm-Reviews des FKPW-Programms beauftragt. Ziel des Reviews war es, die Sichtweisen der verschiedenen in das Programm involvierten Akteur:innen zusammen zu tragen und Empfehlungen für die weitere Ausgestaltung des Programms zu geben. Oberstes Ziel war somit das institutionelle Lernen auf Seiten der beiden durchführenden Organisationen, GIZ und SKEW. Am Ziel des Reviews orientiert war die Methodik rein qualitativ und basierte auf der Vorgehensweise der offenen Perspektivenerfassung. Für das Review wurden Interviews und Fokusgruppendiskussionen mit Vertreter:innen der deutschen Kommunen, der Partnerkommunen, mit den Fachkräften und dem Steuerungsteam des Programms sowie mit Vertreterinnen des zuständigen BMZ-Referates und Vertreter:innen verschiedener Bereiche innerhalb der GIZ und SKEW geführt.
Beratungstätigkeit des ASEAN Sekretariats zur Ausarbeitung eines methodischen und operativen Rahmenkonzepts zum systematischen Wirkungsmonitoring
CEval wurde von der Deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) beauftragt im Rahmen des ASEAN Sekretariat Post 2015 & Organisationsentwicklung und Capacity Development Projekts das ASEAN Sekretariat bei der Ausarbeitung eines methodischen und operativen Rahmenkonzepts zum systematischen Wirkungsmonitoring zu beraten.
Dabei galt es vor allem die Evaluierungsprozesse des ASEAN-Sekretariats zu untersuchen und fachliche Unterstützung für die Neudefinierung des Wirkungsmonitorings des ASEAN-Sekretariats, mit Schwerpunkt aurf ASEAN-Kooperationsprojekte, zu leisten.
Im Rahmen der Beratung wurden eine Reihe von Interviews mit den verantwortlichen M&E-Abteilungen sowie ein dreitägiges Methodentraining durchgeführt. Dabei wurden nicht nur die M&E-Kapazitäten von Mitarbeitern gestärkt, sondern auch ein gemeinsames Diskussionsforum für verschiedene Abteilungen geschaffen. Dies war besonders wichtig um Meinungen und Erfahrungen auszutauschen und Akzeptanz gegenüber dem neuen PMEFs zu schaffen. Der Abschlussbericht fasst wichtige Erkenntnisse zusammen, erörtert Best Practices anderer Akteure und beschreibt Konzepte, mögliche Mechanismen und Empfehlungen zur Implementierung eines funktionalen PMEFs.
Meta-Evaluation von Projekt- und Programmevaluationen 2015-2017 des finnischen Außenministeriums
Das finnische Außenministerium beauftragte das CEval zusammen mit Particip und Indufor eine Meta-Evaluation ihrer Evaluationen von Programmen und Projekten der Entwicklungszusammenarbeit durchzuführen. Das finnische Ministerium führt regelmäßig Meta-Evaluationen durch und im Fokus dieser Meta-Evaluation standen die Evaluierungen von 2015-2017.
Zielsetzung dieser Meta-Evaluierung war zum einen die Verbesserung von Evaluierungsberichten, die Praxis des Evaluierungsmanagements und Entwicklung von Evaluierungskapazitäten und die Identifizierung möglicher Lücken in der finnischen Evaluierungspraxis. Darüber hinaus standen auch die Inhalte der Evaluationsberichte im Fokus, z. B. wurden das Erreichen der DAC-Kriterien und weitere finnische Querschnittsthemen wie Gleichberechtigung von Mann und Frau oder nachhaltige Klimapolitik evaluiert.
Methodisch stand dabei eine Dokumentenanalyse der Evaluierungsberichte im Mittelpunkt der Meta-Bewertung, um zunächst die Qualität und anschließend den Inhalt der Evaluierungsberichte zu bewerten. Verschiedene Bewertungsinstrumente wurden entwickelt, um einen einfach durchführbaren und verlässlichen Bewertungsprozess zu ermöglichen. Im Rahmen der Qualitätsprüfung wurden die Evaluierungsberichte auf das Vorhandensein von Informationen überprüft, die für das Verständnis der Evaluierung (Gegenstand, Prozess und Ergebnisse) wesentlich sind. Zusätzlich wurden methodische Anforderungen wie z. B. die Daten- und Methodentriangulation oder der logische Fluss von den Daten über Ergebnisse und Schlussfolgerungen zu den Empfehlungen bewertet. Ein weiteres Tool wurde für die inhaltliche Analyse genutzt, bei der die Ergebnisse im Detail hinsichtlich der verschiedenen Bewertungskriterien sowie Schlussfolgerungen und Empfehlungen semi-standardisiert analysiert wurden.
Hochschulkooperation mit der Universität von Costa Rica (UCR) und der Päpstlichen Katholischen Universität von Ecuador (PUCE)
Die Universität des Saarlandes (UdS) und die Universität von Costa Rica (UCR) pflegen seit 2008 eine intensive Zusammenarbeit, welche zwischen 2012 und 2015 durch das DAAD Programm „Fachbezogene Partnerschaften mit Hochschulen und Entwicklungsländern“ unterstützt wurde. Durch das DAAD-Beraterprogramm war bereits die vorangegangene Zusammenarbeit der beiden Hochschulen finanziell unterstützt worden. Vor dem Hintergrund eines stetig steigenden Bedarfs an Evaluationen und Evaluationskompetenzen waren beide Partner bestrebt, die Zusammenarbeit im Rahmen des DAAD-Programms weiterzuführen und durch die Einbindung einer weiteren Partnerschule nachhaltig auszuweiten. Hierfür konnte die Päpstliche Katholische Universität von Ecuador (PUCE) gewonnen werden.
Kernstücke dieser dritten Phase der Kooperation war die Einführung eines neuen Blended Learning Masterstudiengangs in Evaluation an der PUCE bzw. eines Blended Learning Weiterbildungsangebotes am Centrum für Forschung und Weiterbildung in Öffentlicher Verwaltung (CICAP) der UCR sowie die Qualitätssicherung der Aus- und Weiterbildung in Evaluation in Costa Rica, Ecuador und Lateinamerika (Verbesserung der Aus- und Weiterbildung sowie der Forschung in Evaluation). Zudem standen der Aufbau eines lateinamerikanischen Hochschulnetzwerkes im Fachbereich Evaluation (Netzwerkbildung und Internationalisierung), die Stärkung des Praxisbezugs der akademischen Evaluationsausbildung sowie der Beitrag zu evidenzbasiertet Politikgestaltung (Anwendung wissenschaftlicher Evaluationsforschung in der politischen Praxis) und schließlich die Vertiefung und institutionelle Erweiterung der Zusammenarbeit zwischen den beteiligten Universitäten sowie dem Forschungsinstitut CICAP (Dreiecks- und Süd-Süd-Kooperation) auf dem Programm der auf vier Jahre angelegten Partnerschaft.
Begleitung und Beratung Wirkungsmessung – Baseline Update Länderprogramm Bangladesch
Das Länderprogramm Bangladesch 2013-1016 von HEKS/EPER hatte zum Ziel, die soziale Inklusion von marginalisierten und entrechteten Minderheiten im Nordwesten Bangladeschs zu fördern. Die unterschiedlichen Interventionen hatten vor allem urbane und rurale Dalit und Flachland-Adibashi Gemeinden zur Zielgruppe, die unter komplexen Formen von Diskriminierung leiden. Der Ausschluss der beiden Minderheiten ist ein entscheidender Grund für Konflikte zwischen Minderheiten und der Mainstream-Gesellschaft. Mit einem Menschenrechtsansatz und einem Value-Chain Ansatz wollte HEKS die soziale Inklusion der beiden Gruppen fördern.
HEKS wollte die Wirkungen aus der letzten Projektphase messen und gleichzeitig valide Baselinedaten für die kommende Programmphase erheben. Das CEval stand HEKS dabei unterstützend zur Seite. Die Wirkung des Programms sollte mit Hilfe von Haushaltsbefragungen und der qualitativen Methode der contribution analysis erfasst werden. CEval unterstützte HEKS dabei hauptsächlich bei der Vorbereitung für die quantitative Datenerhebung und bei der quantitativen Datenauswertung. Das CEval bereitete die Sampling Strategie vor, half bei der Entwicklung der Erhebungsinstrumente und bei der statistischen Auswertung der Daten. Bei letzterem galt es insbesondere die zuvor erhobenen Daten mit den neu erhobenen Daten so zu kombinieren, um valide Schlüsse aus der statistischen Analyse ziehen zu können.
Begleitende Evaluation eines Slum Rehabilitationsprojekts in Brasilien
Knorr-Bremse Global Care e.V. (KBGC) unterstützt zusammen mit einem lokalen Partner ein Trainings- und Rehabilitationsprojekt in Grajaú, einem Slum Gebiet in Sao Paolo. Das Projekt strebt eine Verbesserung von Lebensbedingungen der Slumbevölkerung an, in dem, zum einen, Trainingsmaßnahmen im Bereich des Zivilen Bauens für junge Erwachsene angeboten werden und, zum anderen, die ausgebildeten Jugendlichen zusammen mit der Slumbevölkerung und dem lokalen Partner nachhaltige und adäquate Wohnhäuser errichten.
CEval unterstützte KBGC beim Aufbau eines Monitorings- & Evaluationssystems, das Fortschritte gegenüber der Projektziele und Wirkungen des Projekts über eine Laufzeit von drei Jahren misst. Um kurz-, mittel- und langfristige Wirkungen zu erfassen, wurde dabei eine Zeitreihenanalyse eingesetzt, die sich auf mehrere Datensammlungen durch Fragebögen stützte. Alle sechs Monate wurden die Teilnehmer:innen des Trainingprogramms befragt, deren Daten analysiert und aufbereitet, und in Kurzberichten Erkenntnisse des Programmfortschritts an KBGC und deren Partner kommuniziert.
Evaluierung und Beratung: Der QUIZ-Kompass auf dem Prüfstand
Um die eigene Arbeit effizienter zu planen und den wachsenden Qualitätsansprüchen im Rahmen der Wirkungsdebatte in der Entwicklungszusammenarbeit gerecht zu werden, hat die Abteilung Internationale Entwicklungszusammenarbeit der FES den QUIZ-Kompass (Qualitätsmanagement in der Internationalen Zusammenarbeit) im Jahr 2006 entwickelt, in den Folgejahren getestet um im Jahr 2010 verbindlich für alle Landesprojekte eingeführt.
Parallel dazu hat das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) eine Arbeitsgruppe zur Vereinheitlichung und Verbesserung des Berichts- und Antragswesens für die politischen Stiftungen ins Leben gerufen. Dies führte schließlich im Jahr 2012 zur Einführung neuer Berichts- und Antragsformate, die nunmehr für alle politischen Stiftungen verbindlich sind.
Durch diese Entwicklungen sind zum einen die Anforderungen im Berichts- und Antragswesen gestiegen. Zum anderen hat sich gezeigt, dass der QUIZ-Kompass und die BMZ-Vorgaben gemeinsam betrachtet einige Überlappungen und kleinere Widersprüche aufweisen. Dies hat dazu geführt, dass die FES sich entschieden hat den QUIZ-Kompass zu überarbeiten. Ziel der Evaluierung und Beratung war in einem ersten Schritt seine Aktualität im Hinblick auf den Status quo der Wirkungsdebatte in der Entwicklungszusammenarbeit zu analysieren. In einem zweiten Schritt ging es darum die Praktikabilität des Instrumentes zu evaluieren. In einem dritten Schritt sollten schließlich Empfehlungen für die Verschlankung und Neukonzipierung des Instruments aus den gewonnenen Erkenntnissen abgeleitet werden.
Aufbereitung methodischer Ansätze und Erfahrungen zur Wirkungsevaluation von Trainingsmaßnahmen im öffentlichen Sektor
Gemeinsam mit dem in Costa Rica ansässigen Institut CICAP beriet das CEval das GIZ-Vorhaben CADESAN in der Andenregion. Das Regionalvorhaben unterstützt die Entwicklung von Capacity Building Angeboten in den Bereichen Dezentralisierung und Modernisierung der öffentlichen Verwaltung.
Der Beratungsauftrag zielte darauf ab, der GIZ und ihren Partnerinstitutionen in der Region eine Analyse und Aufbereitung möglicher methodischer Ansätze zur Verfügung zu stellen, um die Wirkungen entsprechender Capacity Building und Trainingsmaßnahmen zu evaluieren. Hierzu wurden verschiedene Ansätze und Evaluationsdesigns, deren Anwendbarkeit auf den genannten Bereich sowie internationale Erfahrungen und Praktiken aufbereitet. Die Ergebnisse wurden bei einem Training mit der GIZ und ihren Partnern diskutiert.
