Ressortgemeinsame strategische Evaluierung des AA- und des BMZ-Engagements in Irak
Die Bundesregierung beabsichtigt, im Rahmen ihres Krisenengagements in Irak eine weitere Verankerung von Monitoring und Evaluierung als Instrumente des Lernens und der Qualitätssicherung, der Rechenschaftslegung und der strategischen Steuerung. In diesem Kontext wurde eine ressortgemeinsame Evaluierung des Irak-Engagements des Auswärtigen Amtes (AA) und des Bundesministeriums für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) durchgeführt. Diese sollte gleichzeitig als Pilotvorhaben und möglichst als Modell für ressortgemeinsame Evaluierungen beider Häuser in relevanten Handlungsfeldern und an ihren Schnittstellen fungieren. Hauptziel dieser ressortgemeinsamen Evaluierung war das gemeinsame institutionelle Lernen. Die AA-Komponente der Evaluation wurde von einem Konsortium unter Federführung der GFA Consulting Group realisiert, an dem die CEval GmbH beteiligt war; die BMZ-Komponente durch das Deutsche Evaluierungsinstitut (DEval). Beide Evaluationsteams arbeiteten in einer Arbeitsgemeinschaft eng zusammen.
Ziel der Evaluierung war es, eine unabhängige und umfassende Analyse und Bewertung des Engagements der beiden Ressorts vorzunehmen, um Erkenntnisse für die (gemeinsame) Steuerung zu gewinnen und zu nutzen. Durch die Evaluierung wurden Erkenntnisse über Relevanz, Effektivität und übergeordnete Wirkungen, Effizienz, Nachhaltigkeit bzw. Anschlussfähigkeit sowie Koordination, Kohärenz und Komplementarität des Irak-Engagements beider Ressorts gewonnen. Weiterhin hat die Evaluierung Handlungsempfehlungen für eine Optimierung des Gesamtengagements und einzelner Maßnahmen, Strukturen und Prozesse geliefert, um das laufende Portfolio ggf. nachzusteuern. Schließlich wurden aus dem AA-BMZ Engagement in Irak Lernerfahrungen für ein ähnliches Engagement in anderen Krisenkontexten identifiziert. Die Evaluierung diente auch der begleitenden bzw. abschließenden Erfolgskontrolle des Länderportfolios gemäß Bundeshaushaltsordnung.
Methodisch basierte die Evaluation auf einem breiten Mix aus qualitativen und quantitativen Datenerhebungs- und Auswertungsmethoden. Die Datenerhebungen wurden aufgrund pandemiebedingter Reisebeschränkungen durch das Konsortium sowohl in Deutschland als auch im Irak remote realisiert bzw. gesteuert.
Entwicklung eines Monitoring- und Evaluationskonzept für die Deutsche Stiftung für Internationale Rechtliche Zusammenarbeit e.V.
Seit 1992 unterstützt Die Deutsche Stiftung für internationale Rechtliche Zusammenarbeit e.V. (IRZ) im Auftrag und mit Mitteln des Bundesministeriums der Justiz und für Verbraucherschutz (BMJV) Partnerstaaten bei der Entwicklung und Konsolidierung rechtsstaatlicher und marktwirtschaftlicher Strukturen. Zu den rund 25 Partnerstaaten zählen u.a. neue EU Mitgliedsstaaten und Beitrittskandidaten sowie weitere Staaten Südosteuropas, Zentralasiens, Nordafrikas und des Nahen Ostens. Diese Staaten unterstützt die Stiftung insbesondere beim Schutz von Menschenrechten sowie in den Bereichen Rechtsstaatlichkeit und Justiz, Zivil- und Wirtschaftsrecht, öffentliches Recht, Strafrechtspflege sowie Europarecht.
Die CEval GmbH unterstützte die IRZ bei der Entwicklung eines umfassenden Monitoring- und Evaluationskonzeptes für die vom BMJV zuwendungsfinanzierte Programmelinie der Stiftung. Die Leistung umfasste die Operationalisierung des Zielsystems der IRZ mittels geeigneter Indikatoren und der Entwicklung eines Datenerhebungsplans. Dabei wurde eine Bestandsaufnahme des bisherigen Instrumentariums der IRZ durchgeführt und daran angeschlossen. Im Rahmen der Implementierung des M&E-Konzepts führte die CEval GmbH ein dreitägigen Capacity Building Intensivtraining zur Schulung der Mitarbeiter des IRZ durch und begleitete die testweise Umsetzung der Monitoringinstrumente im Sinne eines Backstopping. Die Ergebnisse des Entwicklungsprozesses wurden abschließend in einer Handreichung mit Hinweisen zur praktischen Umsetzung des M&E-Konzepts dokumentiert.
Messung der Kundenzufriedenheit bei AIZ-Dienstleistungen für GIZ-Vorhaben, Folgeerhebung 2020
Um eine stetige Qualitätssicherung zu gewährleisten, hatte die Akademie für Internationale Zusammenarbeit (AIZ) die CEval GmbH zum zweiten Mal in Folge beauftragt die Kundenzufriedenheit bei AIZ- Dienstleistungen für GIZ- Vorhaben zu evaluieren. Zu diesem Zweck wurden insgesamt elf GIZ-interne Kund:innen für Aufträge bis Juni 2020 zwischen Dezember 2020 und Januar 2021 telefonisch befragt und die Daten mittels deskriptiver Statistik ausgewertet.
Das Evaluierungsdesign gliederte sich in vier inhaltliche Bereiche: Kommunikation, Beratung und Dienstleistung, Arbeitsweise und Entwicklungsorientierung. Basierend auf den Befunden, wurden sowohl Stärken als auch Schwächen der von der AIZ durchgeführten HCD-Maßnahmen sowie daraus resultierende Verbesserungspotenziale identifiziert. Abschließend erfolgte ein Vergleich der Daten mit denen aus dem Vorjahr in Hinblick auf mögliche Trends.
Wissenschaftliche M&E-Begleitung von zwei WaSH-Projekten in Äthiopien und Kenia
Die Knorr-Bremse Global Care e.V. (KBGC) plant die Umsetzung zweier WASH-Projekte in Äthiopien und Kenia. Gemeinsames Ziel der beiden Vorhaben ist die Reduktion von Sterblichkeits- und Krankheitsraten durch wasserverbundene Krankheiten. Hierfür ist eine Reihe von, an die Rahmenbedingungen in den jeweiligen Umsetzungsregionen angepasste Maßnahmen geplant, wie bspw. zur Verbesserung des Zugangs zu sauberem Wasser, zur Steigerung des Wissens und der Kompetenzen der beteiligten Akteure, zur Rehabilitation sanitärer Einrichtungen, zur Verbreitung energieeffizienterer Öfen, zur Gesundheitsaufklärung sowie schließlich zu Einstellungs- und Verhaltensänderungen bei den Zielgruppen. Dadurch soll ein Beitrag zur Verbesserung der allgemeinen Lebensbedingungen der Zielgruppen geleistet werden.
Die CEval GmbH übernimmt die wissenschaftliche Begleitung des Monitorings und der Evaluation der beiden Projekte, mit dem Ziel, deren Wirksamkeit zu erfassen. Die Umsetzung erfolgt in enger Zusammenarbeit mit nationalen Gutachtern in beiden Ländern. Die Evaluation der Projekte wird in erster Linie von diesen direkt vor Ort durchgeführt, während die CEval GmbH die Erstellung des Evaluationsdesigns und Methodenkonzepts, die Schulung der Monitoringverantwortlichen sowie Begleitung des gesamten Prozesses übernimmt.
Evaluation eines Capacity Development Projekts zur Verbesserung von Kinderschutzsystemen in Äthiopien und Indien
Weltweit sind Kinder in ihrem täglichen Leben zahlreichen Risikofaktoren ausgesetzt. In Anbetracht der Komplexität der Ursachen dafür, haben sich funktionierende Kinderschutzsysteme als wirksam erwiesen um Risiken entgegenzuwirken und Gewalt, Ausbeutung und Missbrauch zu verhindern. Kindernothilfe e.V. initiierte 2014 gemeinsam mit der Karl Kübel Stiftung, dem Child Fund und terre des hommes das Projekt „Entwicklung und Umsetzung institutioneller Kinderschutzpolitiken sowie Vernetzung mit lokalen Kinderschutzsystemen durch mindestens 240 Organisationen in neun Ländern Asiens und Afrikas“.
Da das Projekt im Dezember 2018 endete, war das Centrum für Evaluation von der Kindernothilfe im August 2018 mit der Durchführung einer Evaluation beauftragt worden. Ziel dieser war es, die Wirkungen des Projekts zu identifizieren und Erkenntnisse und Empfehlungen für zukünftige Interventionen auszusprechen. Ein wesentlicher Teil dabei war es, die Theory of Change (ToC) des Projekts rückwirkend zu entwickeln, wobei die Partizipation von Konsortialpartnern, nationalen Trainern sowie der Zielgruppe und Begünstigten hierfür eine große Rolle spielt. Im Oktober 2018 fanden Feldbesuche in Äthiopien und Südindien statt, um insgesamt sechs Partnerorganisationen zu besuchen und Interviews und Fokusgruppengespräche zu führen. Kinder wurden in die Evaluation miteingeschlossen, wofür kindgerechte, partizipative Forschungsmethoden, wie Picture Talk und Smiley-face-Skalen angewandt wurden. Am Ende jedes Feldbesuchs fand ein eintägiger Workshop statt, zu dem alle am Projekt teilgenommenen Organisationen der jeweiligen Region eingeladen worden waren. Während des Workshops wurden vorläufige Ergebnisse sowie die ToC vorgestellt, diskutiert und validiert. Schließlich wurden die verschiedenen Daten analysiert, trianguliert und die Ergebnisse den Konsortialpartnern vorgestellt.
International Program for Development Evaluation Training (IPDET)
Das International Program for Development Evaluation Training (IPDET) ist eines der führenden Trainingsprogramme im Bereich der Evaluierung von Entwicklungszusammenarbeit. Zwischen 2018 und 2024 würde es gemeinsam vom Zentrum für Weiterbildung an der Universität Bern (Schweiz), dem Centrum für Evaluation an der Universität des Saarlandes (Deutschland) und der Independent Evaluation Group der Weltbank durchgeführt. Seit 2021 ist IPDET ein wichtiger Implementierungspartner der Global Evaluation Initiative (GEI) der Weltbank.
Ziel von IPDET ist es Praktizierenden im Bereich der Evaluierung die notwendigen Fertigkeiten zu vermitteln, um Richtlinien, Programme und Projekte auf lokaler, nationaler, regionaler und globaler Ebene zu evaluieren, sowie Führungskräften die nötigen Kenntnisse, um Evaluierungen zu beauftragen und Evaluierungsergebnisse für Entscheidungsprozesse zu nutzen. Weitere Infos zu IPDET finden Sie auf der Website: https://ipdet.org/.
Entwicklung eines M&E-Konzepts, M&E-Unterstützung sowie Entwicklung von Lern- und Austauschformaten für die Initiative „Verbesserte Lebensperspektiven für Jugendliche im ländlichen Ostafrika“
Das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ), die Deutsche Stiftung Weltbevölkerung, die Siemens Stiftung und die Hanns R. Neumann Stiftung wollen gemeinsam die Perspektiven von Jugendlichen in ländlichen Gebieten Ostafrikas verbessern. Im Rahmen der Initiative „Verbesserte Lebensperspektiven für Jugendliche im ländlichen Ostafrika“ befähigen die Partner hierfür Jugendliche, Entwicklungsprozesse aktiv zu gestalten und sich in relevanten politischen Prozessen Gehör zu verschaffen. Außerdem sollen die Lebensgrundlagen der Jugendlichen durch die Erhöhung ihres Einkommens und die Verbesserung ihrer Gesundheitsversorgung verbessert werden. Damit soll auch ein Beitrag zur Bekämpfung der Ursachen von Migration geleistet werden. Die Initiative wird von drei lokalen Implementierungspartnern in Uganda umgesetzt, nämlich Action for Health Uganda, Hanns R. Neumann Stiftung Africa Ltd. und WHAVE Solutions.
Die Tätigkeit der CEval GmbH umfasste drei Bereiche: die Entwicklung eines M&E-Konzepts für das Programm, die Unterstützung des Monitorings und der Evaluation des Programms durch die Durchführung von drei Untersuchungen (Baseline, Midterm und Final) und die Unterstützung des Lernens und Austauschs in der Pilotphase des Programms. Zur Erreichung dieser Ziele wurde ein partizipativer Ansatz verfolgt, wobei auf eine starke Einbeziehung der verschiedenen Stakeholdergruppen, von der Planungsphase über die Datenerhebung bis hin zur Interpretation der Ergebnisse, geachtet wurde. Für eine ganzheitliche Bewertung der Wirksamkeit und Nachhaltigkeit der Initiative sowie zur Validierung ihrer Interventionslogik verfolgte die Evaluation einen Multimethoden-Ansatz, basierend auf einem quantitativen quasi-experimentellen und einem qualitativen Fallstudiendesign. Während das quasi-experimentelle Design auf der Erhebung von Ziel- und Vergleichsgruppendaten von insgesamt ca. 1.000 Personen beruhte, umfasste das Fallstudienkonzept Interviews und Fokusgruppendiskussionen mit Schlüsselpersonen aus den Gruppen der Implementierungspartner, Zielgruppen, örtlichen Behörden und Branchenexperten.
Querschnittsauswertung: Evidenzen aus Zentralen Projektevaluierungen im Bereich der Übergangshilfe
Als Brücke zwischen humanitärer Hilfe und längerfristiger Entwicklungszusammenarbeit kommt der Überganghilfe, insbesondere vor dem Hintergrund weltweit zunehmender Konflikte, verstärkt Bedeutung zu.
Die Stabstelle Evaluierung der Deutschen Gesellschaft für internationale Zusammenarbeit GmbH (GIZ) hatte infolgedessen die CEval GmbH beauftragt, eine Evaluationssynthese von Vorhaben der Überganghilfe, welche im Zeitraum von Januar 2013 bis April 2021 durchgeführt worden waren, vorzunehmen.
Gegenstand dieser Evaluierungssynthese waren neun zentrale Projektevaluierungen (ZPE) von Übergangshilfe-Projekten und eine ZPE eines regionalen EU-kofinanzierten Projekts mit ähnlichen thematischen Prioritäten, die in vier Ländern durchgeführt worden waren. Die Evaluierung umfasst somit diverse Länder und Regionen: Südsudan, Somalia, Haiti, Ukraine, Irak, Türkei, Libanon und Jordanien. Zusätzlich zu den ZPEs wurde die Synthese auf Basis der von Interviews mit Projektverantwortlichen und, wenn möglich, mit den entsprechenden Evaluator:innen erstellt. Ziel war es, übergangshilfe- und kontextspezifischen Erfolgs- und Misserfolges zu identifizieren und systematisch zusammenzufassen sowie entsprechende Handlungsempfehlungen daraus abzuleiten. Methodisch lag der Synthese ein Mixed-Method Ansatz zu Grunde, bestehend aus einer Kombination aus qualitativer Inhaltsanalyse und QCA (Fuzzy- set qualitative comparative analysis).
Erstellung einer AMPA-Übersicht für 20 multilaterale Organisationen sowie zweier Gesamtübersichten
Das Annual Multilateral Performance Assessment (AMPA) ist ein Instrument der Direktion für Entwicklung und Zusammenarbeit (DEZA) zur jährlichen Leistungsbeurteilung ihrer prioritären multilateralen Organisationen. Ziel sind möglichst neutrale und unabhängige Bewertungen dieser Organisationen, mit geringem Aufwand von Ressourcen auf Basis von existierenden und zugänglichen Informationen. AMPA basiert auf 1) MOPAN-Berichten (externe Quelle), 2) den CCM Annual Reports (DEZA-Beurteilung) sowie 3) Self-Assessments der multilateralen Organisationen (z.B. Scorecards).
Im Rahmen eines beratenden Auswertungsauftrags hat das CEval gemeinsam mit dem Auftraggeber konkrete Maßnahmen zur Optimierung des Performance Assessments erarbeitet.
Entwicklung einer Systematik von Indikatoren zur Messung sozialer Ungleichheiten im Kontext deutscher Entwicklungszusammenarbeit
Im Kontext der Sustainable Development Goals (SDG 2030) haben die Vereinten Nationen erstmals auch die Reduzierung sozialer Ungleichheiten als zentrales Ziel internationaler Entwicklungspolitik formuliert. Vor diesem Hintergrund hat der Abbau sozialer Ungleichheiten auch in der deutschen Entwicklungszusammenarbeit an Relevanz gewonnen. Um Projekte der deutschen EZ auf ihre Wirkung auf soziale Ungleichheiten zu evaluieren, ist die Entwicklung von spezifischen und validen Indikatoren zentraler Ausgangspunkt.
Das CEval hat eine Zusammenstellung von Indikatoren zur Messung sozialer Ungleichheit erarbeitet und eine Systematik entwickelt, die Indikatoren nach vertikalen und horizontalen Ungleichheitsdimensionen, Sektoren und Handlungsebenen strukturiert. Darüber hinaus wurden relevante Indikatoren an den Kontext der deutschen Entwicklungszusammenarbeit adaptiert und für die Projektarbeit der GIZ in den Partnerländern nutzbar gemacht.