Evaluation eines Capacity Development Projekts zur Verbesserung von Kinderschutzsystemen in Äthiopien und Indien
Weltweit sind Kinder in ihrem täglichen Leben zahlreichen Risikofaktoren ausgesetzt. In Anbetracht der Komplexität der Ursachen dafür, haben sich funktionierende Kinderschutzsysteme als wirksam erwiesen um Risiken entgegenzuwirken und Gewalt, Ausbeutung und Missbrauch zu verhindern. Kindernothilfe e.V. initiierte 2014 gemeinsam mit der Karl Kübel Stiftung, dem Child Fund und terre des hommes das Projekt „Entwicklung und Umsetzung institutioneller Kinderschutzpolitiken sowie Vernetzung mit lokalen Kinderschutzsystemen durch mindestens 240 Organisationen in neun Ländern Asiens und Afrikas“.
Da das Projekt im Dezember 2018 endete, war das Centrum für Evaluation von der Kindernothilfe im August 2018 mit der Durchführung einer Evaluation beauftragt worden. Ziel dieser war es, die Wirkungen des Projekts zu identifizieren und Erkenntnisse und Empfehlungen für zukünftige Interventionen auszusprechen. Ein wesentlicher Teil dabei war es, die Theory of Change (ToC) des Projekts rückwirkend zu entwickeln, wobei die Partizipation von Konsortialpartnern, nationalen Trainern sowie der Zielgruppe und Begünstigten hierfür eine große Rolle spielt. Im Oktober 2018 fanden Feldbesuche in Äthiopien und Südindien statt, um insgesamt sechs Partnerorganisationen zu besuchen und Interviews und Fokusgruppengespräche zu führen. Kinder wurden in die Evaluation miteingeschlossen, wofür kindgerechte, partizipative Forschungsmethoden, wie Picture Talk und Smiley-face-Skalen angewandt wurden. Am Ende jedes Feldbesuchs fand ein eintägiger Workshop statt, zu dem alle am Projekt teilgenommenen Organisationen der jeweiligen Region eingeladen worden waren. Während des Workshops wurden vorläufige Ergebnisse sowie die ToC vorgestellt, diskutiert und validiert. Schließlich wurden die verschiedenen Daten analysiert, trianguliert und die Ergebnisse den Konsortialpartnern vorgestellt.
International Program for Development Evaluation Training (IPDET)
Das International Program for Development Evaluation Training (IPDET) ist eines der führenden Trainingsprogramme im Bereich der Evaluierung von Entwicklungszusammenarbeit. Zwischen 2018 und 2024 würde es gemeinsam vom Zentrum für Weiterbildung an der Universität Bern (Schweiz), dem Centrum für Evaluation an der Universität des Saarlandes (Deutschland) und der Independent Evaluation Group der Weltbank durchgeführt. Seit 2021 ist IPDET ein wichtiger Implementierungspartner der Global Evaluation Initiative (GEI) der Weltbank.
Ziel von IPDET ist es Praktizierenden im Bereich der Evaluierung die notwendigen Fertigkeiten zu vermitteln, um Richtlinien, Programme und Projekte auf lokaler, nationaler, regionaler und globaler Ebene zu evaluieren, sowie Führungskräften die nötigen Kenntnisse, um Evaluierungen zu beauftragen und Evaluierungsergebnisse für Entscheidungsprozesse zu nutzen. Weitere Infos zu IPDET finden Sie auf der Website: https://ipdet.org/.
Entwicklung eines M&E-Konzepts, M&E-Unterstützung sowie Entwicklung von Lern- und Austauschformaten für die Initiative „Verbesserte Lebensperspektiven für Jugendliche im ländlichen Ostafrika“
Das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ), die Deutsche Stiftung Weltbevölkerung, die Siemens Stiftung und die Hanns R. Neumann Stiftung wollen gemeinsam die Perspektiven von Jugendlichen in ländlichen Gebieten Ostafrikas verbessern. Im Rahmen der Initiative „Verbesserte Lebensperspektiven für Jugendliche im ländlichen Ostafrika“ befähigen die Partner hierfür Jugendliche, Entwicklungsprozesse aktiv zu gestalten und sich in relevanten politischen Prozessen Gehör zu verschaffen. Außerdem sollen die Lebensgrundlagen der Jugendlichen durch die Erhöhung ihres Einkommens und die Verbesserung ihrer Gesundheitsversorgung verbessert werden. Damit soll auch ein Beitrag zur Bekämpfung der Ursachen von Migration geleistet werden. Die Initiative wird von drei lokalen Implementierungspartnern in Uganda umgesetzt, nämlich Action for Health Uganda, Hanns R. Neumann Stiftung Africa Ltd. und WHAVE Solutions.
Die Tätigkeit der CEval GmbH umfasste drei Bereiche: die Entwicklung eines M&E-Konzepts für das Programm, die Unterstützung des Monitorings und der Evaluation des Programms durch die Durchführung von drei Untersuchungen (Baseline, Midterm und Final) und die Unterstützung des Lernens und Austauschs in der Pilotphase des Programms. Zur Erreichung dieser Ziele wurde ein partizipativer Ansatz verfolgt, wobei auf eine starke Einbeziehung der verschiedenen Stakeholdergruppen, von der Planungsphase über die Datenerhebung bis hin zur Interpretation der Ergebnisse, geachtet wurde. Für eine ganzheitliche Bewertung der Wirksamkeit und Nachhaltigkeit der Initiative sowie zur Validierung ihrer Interventionslogik verfolgte die Evaluation einen Multimethoden-Ansatz, basierend auf einem quantitativen quasi-experimentellen und einem qualitativen Fallstudiendesign. Während das quasi-experimentelle Design auf der Erhebung von Ziel- und Vergleichsgruppendaten von insgesamt ca. 1.000 Personen beruhte, umfasste das Fallstudienkonzept Interviews und Fokusgruppendiskussionen mit Schlüsselpersonen aus den Gruppen der Implementierungspartner, Zielgruppen, örtlichen Behörden und Branchenexperten.
Querschnittsauswertung: Evidenzen aus Zentralen Projektevaluierungen im Bereich der Übergangshilfe
Als Brücke zwischen humanitärer Hilfe und längerfristiger Entwicklungszusammenarbeit kommt der Überganghilfe, insbesondere vor dem Hintergrund weltweit zunehmender Konflikte, verstärkt Bedeutung zu.
Die Stabstelle Evaluierung der Deutschen Gesellschaft für internationale Zusammenarbeit GmbH (GIZ) hatte infolgedessen die CEval GmbH beauftragt, eine Evaluationssynthese von Vorhaben der Überganghilfe, welche im Zeitraum von Januar 2013 bis April 2021 durchgeführt worden waren, vorzunehmen.
Gegenstand dieser Evaluierungssynthese waren neun zentrale Projektevaluierungen (ZPE) von Übergangshilfe-Projekten und eine ZPE eines regionalen EU-kofinanzierten Projekts mit ähnlichen thematischen Prioritäten, die in vier Ländern durchgeführt worden waren. Die Evaluierung umfasst somit diverse Länder und Regionen: Südsudan, Somalia, Haiti, Ukraine, Irak, Türkei, Libanon und Jordanien. Zusätzlich zu den ZPEs wurde die Synthese auf Basis der von Interviews mit Projektverantwortlichen und, wenn möglich, mit den entsprechenden Evaluator:innen erstellt. Ziel war es, übergangshilfe- und kontextspezifischen Erfolgs- und Misserfolges zu identifizieren und systematisch zusammenzufassen sowie entsprechende Handlungsempfehlungen daraus abzuleiten. Methodisch lag der Synthese ein Mixed-Method Ansatz zu Grunde, bestehend aus einer Kombination aus qualitativer Inhaltsanalyse und QCA (Fuzzy- set qualitative comparative analysis).
Erstellung einer AMPA-Übersicht für 20 multilaterale Organisationen sowie zweier Gesamtübersichten
Das Annual Multilateral Performance Assessment (AMPA) ist ein Instrument der Direktion für Entwicklung und Zusammenarbeit (DEZA) zur jährlichen Leistungsbeurteilung ihrer prioritären multilateralen Organisationen. Ziel sind möglichst neutrale und unabhängige Bewertungen dieser Organisationen, mit geringem Aufwand von Ressourcen auf Basis von existierenden und zugänglichen Informationen. AMPA basiert auf 1) MOPAN-Berichten (externe Quelle), 2) den CCM Annual Reports (DEZA-Beurteilung) sowie 3) Self-Assessments der multilateralen Organisationen (z.B. Scorecards).
Im Rahmen eines beratenden Auswertungsauftrags hat das CEval gemeinsam mit dem Auftraggeber konkrete Maßnahmen zur Optimierung des Performance Assessments erarbeitet.
Entwicklung einer Systematik von Indikatoren zur Messung sozialer Ungleichheiten im Kontext deutscher Entwicklungszusammenarbeit
Im Kontext der Sustainable Development Goals (SDG 2030) haben die Vereinten Nationen erstmals auch die Reduzierung sozialer Ungleichheiten als zentrales Ziel internationaler Entwicklungspolitik formuliert. Vor diesem Hintergrund hat der Abbau sozialer Ungleichheiten auch in der deutschen Entwicklungszusammenarbeit an Relevanz gewonnen. Um Projekte der deutschen EZ auf ihre Wirkung auf soziale Ungleichheiten zu evaluieren, ist die Entwicklung von spezifischen und validen Indikatoren zentraler Ausgangspunkt.
Das CEval hat eine Zusammenstellung von Indikatoren zur Messung sozialer Ungleichheit erarbeitet und eine Systematik entwickelt, die Indikatoren nach vertikalen und horizontalen Ungleichheitsdimensionen, Sektoren und Handlungsebenen strukturiert. Darüber hinaus wurden relevante Indikatoren an den Kontext der deutschen Entwicklungszusammenarbeit adaptiert und für die Projektarbeit der GIZ in den Partnerländern nutzbar gemacht.
Meta-Evaluation von ADA Projekt- und Programmevaluationen 2016-2018
Gegenstand der Meta-Evaluation waren die ADA-Evaluationen von Programmen und Projekten der Entwicklungszusammenarbeit, welche zwischen 2016 und 2018 durchgeführt wurden. Ziel war es, die Qualität und Nützlichkeit der (internen und externen) Evaluationen zu bewerten und daraus Empfehlungen zur Verbesserung des ADA-Instrumentariums für das Design und die Durchführung zukünftiger Evaluationen abzuleiten.
Im Zentrum der Meta-Evaluation stand dabei eine Dokumentenanalyse, mittels derer auf Grundlage eines detaillierten Analyseprotokolls die Qualität der Evaluationsberichte bewertet wurde. Durch den Einsatz eines solchen Protokolls, das alle relevanten Analysedimensionen, Indikatoren und Skalendefinitionen beinhaltet, wurde sichergestellt, dass die Bewertungsergebnisse verlässlich und nachvollziehbar sind. Zur Bewertung der Nützlichkeit und Nutzung der Evaluationen, wurden deren Nutzer:innen (z.B. Programmverantwortliche) im Rahmen von leitfadengestützten Einzel- und Gruppeninterviews sowie & zur Gewährleistung einer größtmöglichen Repräsentativität der Untersuchungsergebnisse & einer teilstandardisierten Online-Erhebung befragt.
Meta-Evaluation und Synthese von Evaluationsberichten der Christoffel Blindenmission
Im Auftrag der Christoffel Blindenmission (CBM) führte CEval eine Synthese von 24 Evaluationsberichten der Jahre 2016 und 2017 durch. Mit dem Mandat in den ärmsten Regionen der Welt für eine Verbesserung der Lebensqualität von Menschen mit Behinderungen zu kämpfen, liegt der Projektfokus der CBM auf einer eingehenden Kooperation mit sowie auf der Förderung von lokalen Akteuren in Entwicklungsländern und Krisenregionen.
Im Zentrum der Evaluation stand eine eingehende Dokumentenanalyse der eingereichten Evaluationsberichte. Um die Homogenität der Daten zu gewährleisten wurde zunächst die Qualität aller Evaluationsberichte systematisch bewertet. Berichte, die gegebene Mindestqualitätsstandards erfüllten, wurden anhand eines Analyserasters, beruhend auf den Evaluationsfragen, evaluiert. Ziel war die Zusammenfassung der unabhängigen Projektevaluationen sowie der daraus resultierenden Erkenntnisse hinsichtlich der einzelnen CBM-Mandatsbereiche. Zusätzliches Instrument zur qualitativen und quantitativen Datenerhebung war eine Onlinebefragung der weltweiten Regionalbüros bezüglich der Nutzung und des Nutzwertes der Evaluationsberichte. Der Evaluationsbericht beantworte dabei Fragen die sich an den OECD-DAC Kriterien strukturierten.
Meta-Evaluation der Evaluierungsberichte von Plan International
Plan International arbeitet seit vielen Jahren in Afrika, Asien und Nord- und Südamerika, um Kinderrechte zu fördern und Kindern aus der Armut zu befreien. Das 1989 gegründete Deutsche Nationalbüro von Plan International beteiligt sich an der Finanzierung von Entwicklungsprojekten und -programmen sowie an der Finanzierung und Beauftragung externer Evaluationen. Plan International Deutschland beschloss, eine Meta-Evaluierung der Evaluierungsberichte aus den Jahren 2013 und 2017, die alle geographischen Regionen abdecken, durchzuführen.
Die vorrangigen Ziele der Meta-Evaluation waren die Bewertung der Stärken und Schwächen der Evaluationsberichte anhand einer Analyse der Qualität, die Identifizierung der Erfolgs- und Risikofaktoren, die ihre Qualität beeinflussen können, und das Geben von Empfehlungen. Ein besonderer Schwerpunkt in der Meta-Evaluation war auf den Einfluss der Art der Evaluierung (d.h. von wem sie koordiniert und durchgeführt wird) sowie auf die verfügbaren Ressourcen und den Zeitrahmen gelegt.
Die Meta-Evaluierung basierte auf einer Analyse der Evaluierungsberichte. Umfangreiche Analyseinstrumente wurden eingesetzt, um die Vollständigkeit der Berichte, die Validität der Befunde und die Nützlichkeit der Auswertungsberichte zu analysieren. Die Dokumentenanalyse gliederte sich in zwei Phasen. Während in der ersten Phase („Pre-Rating“) die Vollständigkeit der Evaluierungsberichte bewertet wurde, wurde in der zweiten Phase („vertiefte Analyse“) ein umfassenderes Set von Qualitätsbewertungskriterien auf eine Stichprobe von Berichten angewandt, um eine detailliertere Beurteilung der Validität der Ergebnisse und der Nützlichkeit für ihre Adressaten zu ermöglichen.
Evaluation von APPEAR Projekten (Programmphasen I und II)
Das Austrian Partnership Programme in Higher Education and Research for Development (APPEAR) wird von der Austrian Development Agency (ADA) konzipiert, geleitet und finanziert, um die Strategie „Higher Education and Scientific Cooperation“ zur Unterstützung von Hochschulen und Forschung für Entwicklung auf akademischer Ebene umzusetzen. Mit Unterstützung des World University Service (WUS) Österreich werden die geförderten Projekte von der Österreichischen Agentur für internationale Mobilität und Zusammenarbeit in Bildung, Wissenschaft und Forschung (OeAD GmbH) durchgeführt. Das übergeordnete Ziel von APPEAR ist die Stärkung der institutionellen Kapazitäten in den Bereichen Hochschulbildung, Forschung und Management durch akademische Partnerschaften mit österreichischen Hochschulen und durch Stipendien. Ziel der Partnerschaften ist es, die allgemeinen Standards in den Bereichen Hochschulbildung, Forschung und Management durch Wissenstransfer und innovative Projekte zu verbessern. Die Erreichung dieser Ziele soll schließlich zu einer wirksamen und nachhaltigen Armutsbekämpfung in den Partnerländern beitragen.
Übergeordnetes Ziel der Evaluation war es, die laufenden und abgeschlossenen Projekte der APPEAR-Phasen I und II zu bewerten. Dabei wurde analysiert, inwiefern die APPEAR-Richtlinien und Grundprinzipien bei der Projektumsetzung eingehalten wurden und in welchem Umfang, die Projekte ihre Ziele und Ergebnisse erreichen konnten. Darüber hinaus wurden die Projekte nach den OECD/DAC-Kriterien Relevanz, Effektivität, Effizienz, Wirkung und Nachhaltigkeit bewertet. Dabei zielte die Evaluierung darauf ab, die Stärken, Schwächen und Herausforderungen der APPEAR-Projekte zu identifizieren und Schlussfolgerungen, Lehren und Empfehlungen für die verbleibenden oder zukünftigen Projekte zu präsentieren.
Bei der Bewertung kamen verschiedene Methoden zum Einsatz. Primärdaten wurden bei Projektbesuchen in Äthiopien und Uganda, Interviews und Gruppendiskussionen mit Projektpartnern in Österreich sowie in online Interviews mit Projektmitarbeiter:innen in Nicaragua erhoben. Die Datenerhebungsinstrumente umfassen auch teilstandardisierte Befragungen, Programm- und Projektdokumentationen sowie frühere Programme.