Meta-Evaluation der Evaluierungsberichte von Plan International
Plan International arbeitet seit vielen Jahren in Afrika, Asien und Nord- und Südamerika, um Kinderrechte zu fördern und Kindern aus der Armut zu befreien. Das 1989 gegründete Deutsche Nationalbüro von Plan International beteiligt sich an der Finanzierung von Entwicklungsprojekten und -programmen sowie an der Finanzierung und Beauftragung externer Evaluationen. Plan International Deutschland beschloss, eine Meta-Evaluierung der Evaluierungsberichte aus den Jahren 2013 und 2017, die alle geographischen Regionen abdecken, durchzuführen.
Die vorrangigen Ziele der Meta-Evaluation waren die Bewertung der Stärken und Schwächen der Evaluationsberichte anhand einer Analyse der Qualität, die Identifizierung der Erfolgs- und Risikofaktoren, die ihre Qualität beeinflussen können, und das Geben von Empfehlungen. Ein besonderer Schwerpunkt in der Meta-Evaluation war auf den Einfluss der Art der Evaluierung (d.h. von wem sie koordiniert und durchgeführt wird) sowie auf die verfügbaren Ressourcen und den Zeitrahmen gelegt.
Die Meta-Evaluierung basierte auf einer Analyse der Evaluierungsberichte. Umfangreiche Analyseinstrumente wurden eingesetzt, um die Vollständigkeit der Berichte, die Validität der Befunde und die Nützlichkeit der Auswertungsberichte zu analysieren. Die Dokumentenanalyse gliederte sich in zwei Phasen. Während in der ersten Phase („Pre-Rating“) die Vollständigkeit der Evaluierungsberichte bewertet wurde, wurde in der zweiten Phase („vertiefte Analyse“) ein umfassenderes Set von Qualitätsbewertungskriterien auf eine Stichprobe von Berichten angewandt, um eine detailliertere Beurteilung der Validität der Ergebnisse und der Nützlichkeit für ihre Adressaten zu ermöglichen.
Evaluation von APPEAR Projekten (Programmphasen I und II)
Das Austrian Partnership Programme in Higher Education and Research for Development (APPEAR) wird von der Austrian Development Agency (ADA) konzipiert, geleitet und finanziert, um die Strategie „Higher Education and Scientific Cooperation“ zur Unterstützung von Hochschulen und Forschung für Entwicklung auf akademischer Ebene umzusetzen. Mit Unterstützung des World University Service (WUS) Österreich werden die geförderten Projekte von der Österreichischen Agentur für internationale Mobilität und Zusammenarbeit in Bildung, Wissenschaft und Forschung (OeAD GmbH) durchgeführt. Das übergeordnete Ziel von APPEAR ist die Stärkung der institutionellen Kapazitäten in den Bereichen Hochschulbildung, Forschung und Management durch akademische Partnerschaften mit österreichischen Hochschulen und durch Stipendien. Ziel der Partnerschaften ist es, die allgemeinen Standards in den Bereichen Hochschulbildung, Forschung und Management durch Wissenstransfer und innovative Projekte zu verbessern. Die Erreichung dieser Ziele soll schließlich zu einer wirksamen und nachhaltigen Armutsbekämpfung in den Partnerländern beitragen.
Übergeordnetes Ziel der Evaluation war es, die laufenden und abgeschlossenen Projekte der APPEAR-Phasen I und II zu bewerten. Dabei wurde analysiert, inwiefern die APPEAR-Richtlinien und Grundprinzipien bei der Projektumsetzung eingehalten wurden und in welchem Umfang, die Projekte ihre Ziele und Ergebnisse erreichen konnten. Darüber hinaus wurden die Projekte nach den OECD/DAC-Kriterien Relevanz, Effektivität, Effizienz, Wirkung und Nachhaltigkeit bewertet. Dabei zielte die Evaluierung darauf ab, die Stärken, Schwächen und Herausforderungen der APPEAR-Projekte zu identifizieren und Schlussfolgerungen, Lehren und Empfehlungen für die verbleibenden oder zukünftigen Projekte zu präsentieren.
Bei der Bewertung kamen verschiedene Methoden zum Einsatz. Primärdaten wurden bei Projektbesuchen in Äthiopien und Uganda, Interviews und Gruppendiskussionen mit Projektpartnern in Österreich sowie in online Interviews mit Projektmitarbeiter:innen in Nicaragua erhoben. Die Datenerhebungsinstrumente umfassen auch teilstandardisierte Befragungen, Programm- und Projektdokumentationen sowie frühere Programme.
Evaluation von CAPAQUA
Das Projekt CAPAQUA (Development of Educational and Research CAPacity in Eastern Africa for the Sustainable Management of AQUAatic Ecosystems) zielt darauf ab, die Kapazitäten ostafrikanischer Institutionen im Bereich Hochschulbildung, Wissenschaft und Technologie (Higher Education, Science and Technology (HEST)) zu stärken. CAPAQUA wird gemeinsam von der Universität für Bodenkultur (BOKU), Wien, dem IHE Delft Institute for Water Education, der Egerton University (EGU), der Addis Abeba University (AAU), der Bahir Dar University und dem Ethiopian Institute for Agricultural Research, National Fish and Other Aquatic Lives Research Center (EIAR-NFALRC) durchgeführt. Ziel von CAPAQUA ist es dabei, zu einer nachhaltigen Bewirtschaftung der aquatischen Ökosysteme und ihrer Ressourcen beizutragen, die Lebensgrundlagen in Ostafrika zu verbessern und die Erreichung der Sustainable Development Goals zu unterstützen.
Evaluierung fokussierte sich darauf, die Stärken und Schwächen des Projekts zu identifizieren und den Projektpartnern Empfehlungen im Hinblick auf eine höhere Relevanz, Effektivität, Effizienz und Nachhaltigkeit zukünftiger CAPAQUA-Projekte zu geben. Die Evaluierung analysierte zudem, die wichtigsten Einflussfaktoren für das Erreichen bzw. Nichterreichen der erwarteten Projektergebnisse und -ziele. Der Rahmen der Evaluierung bezog sich auf den Projektzeitraum von Oktober 2015 bis September 2018.
Methodisch wurden dabei durch Tiefeninterviews mit Projektmitarbeiter:innen und verschiedenen Stakeholdern, Fokusgruppendiskussionen mit Programmteilnehmer:innen und Alumni sowie Programm- und Projektdokumentationen umfangreiche qualitative und quantitative Daten erhoben. Geografischer Schwerpunkt der Evaluierung lag in Ostafrika mit Fokus auf Uganda, Kenia und Äthiopien, in denen während eines Feldbesuchs die auszuwertenden Informationen gesammelt wurden. Außerdem wurden auch die involvierten Institutionen und weitere Stakeholder in Österreich in die Datenerhebung eingebunden.
Entwicklung und Umsetzung eines organisationsweiten wirkungsorientierten M&E-Systems
Ziel des Beratungsprojekts war es, ein unternehmensweites, wirkungsorientiertes Monitoring- und Evaluations- (M&E) System zu entwickeln und gemeinsam mit den Programmverantwortlichen umzusetzen. Aufgrund der Komplexität des abzubildenden Wirkungsgefüges, das insgesamt 17 Bildungs- und Förderprogramme, kommunale Entwicklungsprogramme und Dienstleistungen sowie die Unternehmensziele von Engagement Global umfasste, wies das Vorhaben einen klaren Forschungsbezug auf. Es ist damit das erste ganzheitliche wirkungsorientierte M&E auf Unternehmensebene in der Entwicklungszusammenarbeit.
Entsprechend des durch die Systemkomplexität und der großen Anzahl von involvierten Akteuren (Unternehmensleitung und Programmverantwortliche von Engagement Global, kommunale und zivilgesellschaftliche Akteure, BMZ etc.) bedingten hohen organisatorischen Aufwands, folgte das Vorhaben einem mehrstufigen, partizipativen Beratungsansatz. Ausgangspunkt war dabei eine Bestandsaufnahme der bislang in den einzelnen Programmen und Dienstleistungsbereichen von Engagement Global bereits genutzten Indikatoren, Erhebungsinstrumente und Auswertungsverfahren.
Im Anschluss daran wurde auf Grundlage rekonstruierter und entsprechend validierter spezifischer Wirkungsgefüge überprüft, inwieweit damit die Wirksamkeit der einzelnen Programme und Dienstleistungen erfasst wird und welche Informationslücken noch bestehen. Besonderes Augenmerk lag hierbei auch auf der Erfassung des Beitrags der einzelnen Programmwirkungen zur Erreichung der Unternehmensziele von Engagement Global. Im nächsten Schritt wurde dann wiederum gemeinsam mit den Programmverantwortlichen das bestehende Instrumentarium weiterentwickelt und die Umsetzbarkeit der neuen Elemente praktisch erprobt. Die Ergebnisse dieses Entwicklungsprozesses wurden schließlich in einem umfassenden M&E-Konzept dokumentiert und in das organisationsweite Qualitätssicherungssystem technisch sowie mittels entsprechender Schulungsmaßnahmen operativ integriert.
Mid-Term Evaluation of the „ASEAN Secretariat Post 2015 – Institutional Strengthening and Capacity Development“ project (Jakarta, Indonesien)
Das ASEAN Sekretariat (ASEC) und die Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) implementieren gemeinsam das vom Auswärtigen Amt der Bundesrepublik Deutschland geförderte Vorhaben „ASEAN Sekretariat Post 2015 & Organisationsentwicklung und Capacity Development“. Die evaluierte Projektphase begann im Juni 2016 und unterstützte, aufbauend auf vorherigen Capacity Development Aktivitäten, die Professionalisierung der strategischen Verwaltungsabteilungen und Stabsstellen des ASEAN-Sekretariats. Zudem arbeitete es mit Fachabteilungen zusammen, die zu einer Stärkung der ASEAN-Wirtschaftsgemeinschaft beitragen. Um den Fortschritt der Projektphase zu erfassen, wurde das CEval beauftragt eine Zwischenevaluierung anhand der OECD-DAC Kriterien und erweiterten, projektspezifischen Leitfragen durchzuführen. Unter Berücksichtigung des institutionellen Rahmens des ASEC und der Vielfalt an Akteuren, wurde das Design der Kontributionsanalyse und ein Multi-Methoden-Ansatz gewählt.
Dazu wurden leitfadengestützte Interviews mit Schlüsselfiguren und teilstandardisierte Onlinebefragungen der Workshop-Teilnehmer:innen durchgeführt. Projektdokumentationen und Monitoringdaten ergänzen empirische Daten und ermöglichen Triangulation. Ziel der Zwischenevaluation war es Einblicke in aktuellen Fortschritt des Projekts zu erhalten und Lernen für weitere Projektaktivitäten und zukünftige Phasen zu ermöglichen.
Auswertung der Verbraucher:innenbefragung 2018 des Forum Fairer Handel
Seit 2007 gibt das Forum Fairer Handel in unregelmäßigen Abständen repräsentative Befragungen der deutschen Bevölkerung zum Fairen Handel in Auftrag. Auch 2018 hat eine solche Befragung stattgefunden. Neben verschiedenen Facetten des Kaufs fair gehandelter Produkte ging es hierbei auch um die Einstellungen der Befragten gegenüber den politischen Anliegen des Fairen Handels.
Das Forum Fairer Handel hat die CEval GmbH mit der Auswertung der Ergebnisse der Befragung beauftragt. Die Daten wurden deskriptiv statistisch ausgewertet. Bei einzelnen Fragen wurden zudem Unterschiede im Antwortverhalten verschiedener Befragtengruppen untersucht. Bei Fragen, für die bereits Daten aus den vom Forum Fairer Handel beauftragten Erhebungen der Vorjahre existierten, wurden zudem Entwicklungen und Trends im Zeitverlauf dargestellt.
Integration des Programms „Servicestelle Kommunen in der Einen Welt“ (SKEW) in das M&E-System von Engagement Global
Anfang 2012 wurde mit Engagement Global gGmbH auf Bundesebene eine zentrale Einrichtung zur Förderung und Koordination des entwicklungspolitischen Engagements zivilgesellschaftlicher, kommunaler und privatwirtschaftlicher Akteure sowie zur entwicklungspolitischen Informations- und Bildungsarbeit geschaffen. Die SKEW & ein Programm von Engagement Global & fokussiert sich insbesondere auf die Förderung von kommunaler Entwicklungszusammenarbeit. Um sowohl die zweckgemäße Verwendung dieser Mittel, als auch vor allem die Wirksamkeit ihres Einsatzes belegen zu können, hat Engagement Global für alle Fachbereiche und Programme die Grundlagen zur technischen Implementierung eines umfassenden Monitoring- und Evaluations- (M&E) System geschaffen.
Da die SKEW in der damaligen Entwicklung des Monitoringsystems ausgenommen wurde, wurden waren das CEval und ISPO nun damit beauftragt worden, die Einbindung der SKEW in das organisationsweite Monitoringsystem vorzunehmen. Wie bei der Konzeption des hausweiten M&E-Systems werden wurden zuerst die Wirkungsmodelle und Indikatoren überprüft oder entwickelt. Die Zielsetzungen und Indikatoren werden wurden daraufhin in die strategischen Richtungsaussagen von Engagement Global integriert. Um die Erstellung eines Monitoringsystems für die SKEW zu vervollständigen, wird wurde zudem im nächsten Schritt ein Datenerhebungsplan erstellt und die zugehörigen Datenerhebungsinstrumente werden (weiter-) entwickelt.
Formative Evaluation der Out-of-School-Children Initiative (OOSCI)
Im Focus dieser Evaluierung stand die Out-of-School-Children Initiative (OOSCI) von UNICEF und dem UNESCO Institute for Statistics (UIS). Die Initiatve wurde im Jahr 2010 initiiert, um die Anzahl von Kindern, die nicht zur Schule gehen, in den Partnerländern zu reduzieren. Zur Erreichung dieser Zielsetzung wurden einmal umfassende Profile von Kindern, die nicht zur Schule gehen, in jedem Land erstellt, die spezifischen Barrieren in jedem Land identifiziert, die dazu beitragen, dass Kinder nicht zur Schule gehen und Empfehlungen für politische und strategische Änderungen entwickelt, um diese Barrieren zu adressieren.
Die Evaluierung zielte darauf ab, die Validität der Theory of Change und ihrer Annahmen zu testen. Dadurch wurde die Programmlogik gestärkt und der Fortschritt in der Zielerreichung der Reduzierung von Kindern, die nicht die Schule besuchen, bewertet. Außerdem lieferte die Evaluierung detaillierte Informationen über den Nutzen der Initiative für die verschiedenen Stakeholder. Zudem wurden die Ergebnisse der Evaluierung dazu genutzt, den Rechenschaftspflichten gegenüber den Geldgebern nachzukommen.
Im Zentrum der Evaluierung stand eine Dokumentenanalyse zur Bewertung des Fortschritts durch OOSCI für eine Stichprobe von 42 Ländern. Die Inhalte der Dokumente wurden zur Beantwortung der Evaluationsfragen auf einer vierstufigen Skala bewertet. Neben einer deskriptiven Analyse wurden diese Kodierungen auch für eine Qualitative Comparative Analysis (QCA) genutzt. QCA ermöglichte die Analyse, welche Kombinationen von Merkmalen zu einem bestimmten Outcome führt. Zusätzliches Instrument der Datenerhebung war eine Onlinebefragung aller UNICEF Länderbüros. Es wurden weitere qualitative Daten in den USA und in acht Länderbesuchen erhoben. Die Evaluierung wurde zusammen mit Proman und weiteren Consultants durchgeführt. CEval war in der Evaluierung für die Evaluationsmethodik verantwortlich.
Meta-Evaluation von 34 Evaluationsberichten von World Vision Deutschland
Schon zum dritten Mal beauftragte World Vision Deutschland (WVD) das CEval dazu, eine Meta-Evaluation zu Evaluationsberichten von WVDs unterstützen Entwicklungsprogrammen durchzuführen. Insgesamt wurden 34 Evaluationsberichte aus den Finanzjahren 2016 und 2017 analysiert. Als Bewertungsgrundlage diente dabei ein in den vorangegangenen Meta-Evaluationen von CEval und WVD gemeinsam ausgearbeitetes Bewertungsraster, das sich zum Teil auf das international anerkannte BOND-Tool stützt. Das Raster beinhaltet die Kriterien Mitsprache und Inklusion, Transparenz, Methodik, Triangulation, Befriedigung des Informationsbedarfs, Identifizierung des Programmbeitrags, Ergebnisdarstellung sowie das neu ergänzte Kriterium der Nachhaltigkeit. Die Bewertungskriterien wurden anhand von verschiedenen Unterkriterien systematisch bewertet und schließlich in einem zweiten Schritt aggregiert und verbildlicht. Abschließend wurden Ergebnisse mit vorangegangenen Ergebnissen verglichen und erläutert.
Midterm-Review des FKPW-Programms
Im internationalen Vergleich verfügen deutsche Kommunen aufgrund der ausgeprägten kommunalen Selbstverwaltung über vergleichsweise umfangreiche Kompetenzen, welche auch für die Entwicklungszusammenarbeit sehr wertvoll sind. Im Rahmen von kommunalen Partnerschaften führen deutsche Kommunen und Südkommunen gemeinsam Projekte in Kommunen des Globalen Südens durch. Dabei wird technisches Wissen aus der deutschen Kommune in die Partnerkommune transferiert. Die Servicestelle Kommunen der Einen Welt (SKEW) bietet verschiedene Möglichkeiten der Unterstützung des entwicklungspolitischen Engagements kommunaler Partnerschaften.
Eine dieser Fördermöglichkeiten ist das personelle Förderinstrument „Fachkräfte für Kommunale Partnerschaften Weltweit“ (FKPW). Im Rahmen des FKPW-Programms können sich kommunale Partnerschaften auf die Platzierung einer Fachkraft in der Partnerkommune bewerben, die die Schaffung von Strukturen und Kapazitäten vor Ort unterstützt. Ziel des FKPW-Programms ist es, kommunale Partnerschaften und den Einsatz der deutschen Kommune durch den Einsatz einer Fachkraft besser in Wert zu setzen.
Die CEval GmbH wurde von der GIZ mit der Durchführung eines Midterm-Reviews des FKPW-Programms beauftragt. Ziel des Reviews war es, die Sichtweisen der verschiedenen in das Programm involvierten Akteur:innen zusammen zu tragen und Empfehlungen für die weitere Ausgestaltung des Programms zu geben. Oberstes Ziel war somit das institutionelle Lernen auf Seiten der beiden durchführenden Organisationen, GIZ und SKEW. Am Ziel des Reviews orientiert war die Methodik rein qualitativ und basierte auf der Vorgehensweise der offenen Perspektivenerfassung. Für das Review wurden Interviews und Fokusgruppendiskussionen mit Vertreter:innen der deutschen Kommunen, der Partnerkommunen, mit den Fachkräften und dem Steuerungsteam des Programms sowie mit Vertreterinnen des zuständigen BMZ-Referates und Vertreter:innen verschiedener Bereiche innerhalb der GIZ und SKEW geführt.