Messung der Kundenzufriedenheit bei AIZ-Dienstleistungen für GIZ-Vorhaben, Folgeerhebung 2022
Um eine stetige Qualitätssicherung ihrer Dienstleistungen zu gewährleisten, hat die Akademie für Internationale Zusammenarbeit (AIZ) die CEval GmbH beauftragt, die Erhebungswelle 2022 Ihrer Kundenzufriedenheitsbefragung durchzuführen. Ziel ist es, die Zufriedenheit der GIZ-internen Kund:innen mit den Dienstleistungen der AIZ im Bereich der beruflichen Bildung sowie ggf. Optimierungspotenziale zu ermitteln.
Zu diesem Zweck wurden GIZ-interne Kund:innen im Rahmen einer teilstandardisierten Telefonbefragung zu den Bereichen Kommunikation, Beratung und Dienstleistung, Arbeitsweise und Entwicklungsorientierung befragt. Basierend auf den Befunden wurden sowohl Stärken als auch Schwächen der von der AIZ durchgeführten Maßnahmen sowie daraus resultierende Verbesserungspotenziale identifiziert.
Entwicklung eines Monitoring- und Evaluationskonzept für die Deutsche Stiftung für Internationale Rechtliche Zusammenarbeit e.V.
Seit 1992 unterstützt Die Deutsche Stiftung für internationale Rechtliche Zusammenarbeit e.V. (IRZ) im Auftrag und mit Mitteln des Bundesministeriums der Justiz und für Verbraucherschutz (BMJV) Partnerstaaten bei der Entwicklung und Konsolidierung rechtsstaatlicher und marktwirtschaftlicher Strukturen. Zu den rund 25 Partnerstaaten zählen u.a. neue EU Mitgliedsstaaten und Beitrittskandidaten sowie weitere Staaten Südosteuropas, Zentralasiens, Nordafrikas und des Nahen Ostens. Diese Staaten unterstützt die Stiftung insbesondere beim Schutz von Menschenrechten sowie in den Bereichen Rechtsstaatlichkeit und Justiz, Zivil- und Wirtschaftsrecht, öffentliches Recht, Strafrechtspflege sowie Europarecht.
Die CEval GmbH unterstützte die IRZ bei der Entwicklung eines umfassenden Monitoring- und Evaluationskonzeptes für die vom BMJV zuwendungsfinanzierte Programmelinie der Stiftung. Die Leistung umfasste die Operationalisierung des Zielsystems der IRZ mittels geeigneter Indikatoren und der Entwicklung eines Datenerhebungsplans. Dabei wurde eine Bestandsaufnahme des bisherigen Instrumentariums der IRZ durchgeführt und daran angeschlossen. Im Rahmen der Implementierung des M&E-Konzepts führte die CEval GmbH ein dreitägigen Capacity Building Intensivtraining zur Schulung der Mitarbeiter des IRZ durch und begleitete die testweise Umsetzung der Monitoringinstrumente im Sinne eines Backstopping. Die Ergebnisse des Entwicklungsprozesses wurden abschließend in einer Handreichung mit Hinweisen zur praktischen Umsetzung des M&E-Konzepts dokumentiert.
Messung der Kundenzufriedenheit bei AIZ-Dienstleistungen für GIZ-Vorhaben, Folgeerhebung 2020
Um eine stetige Qualitätssicherung zu gewährleisten, hatte die Akademie für Internationale Zusammenarbeit (AIZ) die CEval GmbH zum zweiten Mal in Folge beauftragt die Kundenzufriedenheit bei AIZ- Dienstleistungen für GIZ- Vorhaben zu evaluieren. Zu diesem Zweck wurden insgesamt elf GIZ-interne Kund:innen für Aufträge bis Juni 2020 zwischen Dezember 2020 und Januar 2021 telefonisch befragt und die Daten mittels deskriptiver Statistik ausgewertet.
Das Evaluierungsdesign gliederte sich in vier inhaltliche Bereiche: Kommunikation, Beratung und Dienstleistung, Arbeitsweise und Entwicklungsorientierung. Basierend auf den Befunden, wurden sowohl Stärken als auch Schwächen der von der AIZ durchgeführten HCD-Maßnahmen sowie daraus resultierende Verbesserungspotenziale identifiziert. Abschließend erfolgte ein Vergleich der Daten mit denen aus dem Vorjahr in Hinblick auf mögliche Trends.
Wissenschaftliche M&E-Begleitung von zwei WaSH-Projekten in Äthiopien und Kenia
Die Knorr-Bremse Global Care e.V. (KBGC) plant die Umsetzung zweier WASH-Projekte in Äthiopien und Kenia. Gemeinsames Ziel der beiden Vorhaben ist die Reduktion von Sterblichkeits- und Krankheitsraten durch wasserverbundene Krankheiten. Hierfür ist eine Reihe von, an die Rahmenbedingungen in den jeweiligen Umsetzungsregionen angepasste Maßnahmen geplant, wie bspw. zur Verbesserung des Zugangs zu sauberem Wasser, zur Steigerung des Wissens und der Kompetenzen der beteiligten Akteure, zur Rehabilitation sanitärer Einrichtungen, zur Verbreitung energieeffizienterer Öfen, zur Gesundheitsaufklärung sowie schließlich zu Einstellungs- und Verhaltensänderungen bei den Zielgruppen. Dadurch soll ein Beitrag zur Verbesserung der allgemeinen Lebensbedingungen der Zielgruppen geleistet werden.
Die CEval GmbH übernimmt die wissenschaftliche Begleitung des Monitorings und der Evaluation der beiden Projekte, mit dem Ziel, deren Wirksamkeit zu erfassen. Die Umsetzung erfolgt in enger Zusammenarbeit mit nationalen Gutachtern in beiden Ländern. Die Evaluation der Projekte wird in erster Linie von diesen direkt vor Ort durchgeführt, während die CEval GmbH die Erstellung des Evaluationsdesigns und Methodenkonzepts, die Schulung der Monitoringverantwortlichen sowie Begleitung des gesamten Prozesses übernimmt.
Begleitende Zwischenevaluation der „Palestinian-German Science Bridge“ (PGSB)
Das Programm „Palestinian German Science Bridge“ ist ein vom Bundesministerium für Bildung und Forschung (BMBF) finanziertes Pilotprojekt, welches gemeinsam vom Forschungszentrum Jülich und der „Palestinian Academy for Science and Technology“ (PALAST) umgesetzt wird und auf die Etablierung einer langfristen Ausbildungs- und Forschungskooperation zwischen dem Forschungszentrum und den palästinensischen Universitäten abzielt. Das Programm vereint hierfür die Mobilität von Studierenden und (Nachwuchs-)Wissenschaftler*innen, den wissenschaftlichen Austausch von Forscher*innen, die Unterstützung von Forschungskooperationen und die Reintegration palästinensischer Forschender in den palästinensischen Forschungssektor.
Das Forschungszentrum Jülich hat die CEval GmbH damit beauftragt, das Forschungszentrum hinsichtlich der Konzeption einer Mid-Term Evaluation des Programms zu beraten sowie bei deren Durchführung zu unterstützen. Die Evaluation sollte die kurz- bis mittelfristigen Ergebnisse des Programms beurteilen sowie die Aussichten der langfristigen Zielerreichung. Ziel der Evaluation war es des Weiteren, Verbesserungspotenziale zur weiteren Optimierung des Programms zu identifizieren.
Methodisch basierte die Evaluation auf einem Methodenmix aus qualitativen und quantitativen Datenerhebungs- und -auswertungsmethoden. Die Datenerhebung kombinierte eine Dokumenten- und Sekundärdatenanalyse mit leitfadengestützten Interviews sowie teilstandardisierten Online-Befragungen der Stakeholder des Projekts. Die Datenanalyse vereinte deskriptive Statistik und qualitative Inhaltsanalyse. Aufgrund der COVID-19 Pandemie war die Evaluation als Remote-Evaluation konzipiert.
Ressortgemeinsame strategische Evaluierung des AA- und des BMZ-Engagements in Irak
Die Bundesregierung beabsichtigt, im Rahmen ihres Krisenengagements in Irak eine weitere Verankerung von Monitoring und Evaluierung als Instrumente des Lernens und der Qualitätssicherung, der Rechenschaftslegung und der strategischen Steuerung. In diesem Kontext wurde eine ressortgemeinsame Evaluierung des Irak-Engagements des Auswärtigen Amtes (AA) und des Bundesministeriums für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) durchgeführt. Diese sollte gleichzeitig als Pilotvorhaben und möglichst als Modell für ressortgemeinsame Evaluierungen beider Häuser in relevanten Handlungsfeldern und an ihren Schnittstellen fungieren. Hauptziel dieser ressortgemeinsamen Evaluierung war das gemeinsame institutionelle Lernen. Die AA-Komponente der Evaluation wurde von einem Konsortium unter Federführung der GFA Consulting Group realisiert, an dem die CEval GmbH beteiligt war; die BMZ-Komponente durch das Deutsche Evaluierungsinstitut (DEval). Beide Evaluationsteams arbeiteten in einer Arbeitsgemeinschaft eng zusammen.
Ziel der Evaluierung war es, eine unabhängige und umfassende Analyse und Bewertung des Engagements der beiden Ressorts vorzunehmen, um Erkenntnisse für die (gemeinsame) Steuerung zu gewinnen und zu nutzen. Durch die Evaluierung wurden Erkenntnisse über Relevanz, Effektivität und übergeordnete Wirkungen, Effizienz, Nachhaltigkeit bzw. Anschlussfähigkeit sowie Koordination, Kohärenz und Komplementarität des Irak-Engagements beider Ressorts gewonnen. Weiterhin hat die Evaluierung Handlungsempfehlungen für eine Optimierung des Gesamtengagements und einzelner Maßnahmen, Strukturen und Prozesse geliefert, um das laufende Portfolio ggf. nachzusteuern. Schließlich wurden aus dem AA-BMZ Engagement in Irak Lernerfahrungen für ein ähnliches Engagement in anderen Krisenkontexten identifiziert. Die Evaluierung diente auch der begleitenden bzw. abschließenden Erfolgskontrolle des Länderportfolios gemäß Bundeshaushaltsordnung.
Methodisch basierte die Evaluation auf einem breiten Mix aus qualitativen und quantitativen Datenerhebungs- und Auswertungsmethoden. Die Datenerhebungen wurden aufgrund pandemiebedingter Reisebeschränkungen durch das Konsortium sowohl in Deutschland als auch im Irak remote realisiert bzw. gesteuert.
International Program for Development Evaluation Training (IPDET)
Das International Program for Development Evaluation Training (IPDET) ist eines der führenden Trainingsprogramme im Bereich der Evaluierung von Entwicklungszusammenarbeit. Seit 2018 wird es gemeinsam vom Zentrum für Weiterbildung an der Universität Bern (Schweiz), dem Centrum für Evaluation an der Universität des Saarlandes (Deutschland) und der Independent Evaluation Group der Weltbank durchgeführt. Seit 2020 ist IPDET Partner der Global Evaluation Initiative (GEI) der Weltbank.
Ziel von IPDET ist es Praktizierenden im Bereich der Evaluierung die notwendigen Fertigkeiten zu vermitteln, um Richtlinien, Programme und Projekte auf lokaler, nationaler, regionaler und globaler Ebene zu evaluieren, sowie Führungskräften die nötigen Kenntnisse, um Evaluierungen zu beauftragen und Evaluierungsergebnisse für Entscheidungsprozesse zu nutzen. Weitere Infos zu IPDET finden Sie auf der Website: https://ipdet.org/.
Entwicklung eines M&E-Konzepts, M&E-Unterstützung sowie Entwicklung von Lern- und Austauschformaten für die Initiative „Verbesserte Lebensperspektiven für Jugendliche im ländlichen Ostafrika“
Das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ), die Deutsche Stiftung Weltbevölkerung, die Siemens Stiftung und die Hanns R. Neumann Stiftung wollen gemeinsam die Perspektiven von Jugendlichen in ländlichen Gebieten Ostafrikas verbessern. Im Rahmen der Initiative „Verbesserte Lebensperspektiven für Jugendliche im ländlichen Ostafrika“ befähigen die Partner hierfür Jugendliche, Entwicklungsprozesse aktiv zu gestalten und sich in relevanten politischen Prozessen Gehör zu verschaffen. Außerdem sollen die Lebensgrundlagen der Jugendlichen durch die Erhöhung ihres Einkommens und die Verbesserung ihrer Gesundheitsversorgung verbessert werden. Damit soll auch ein Beitrag zur Bekämpfung der Ursachen von Migration geleistet werden. Die Initiative wird von drei lokalen Implementierungspartnern in Uganda umgesetzt, nämlich Action for Health Uganda, Hanns R. Neumann Stiftung Africa Ltd. und WHAVE Solutions.
Die Tätigkeit der CEval GmbH umfasste drei Bereiche: die Entwicklung eines M&E-Konzepts für das Programm, die Unterstützung des Monitorings und der Evaluation des Programms durch die Durchführung von drei Untersuchungen (Baseline, Midterm und Final) und die Unterstützung des Lernens und Austauschs in der Pilotphase des Programms. Zur Erreichung dieser Ziele wurde ein partizipativer Ansatz verfolgt, wobei auf eine starke Einbeziehung der verschiedenen Stakeholdergruppen, von der Planungsphase über die Datenerhebung bis hin zur Interpretation der Ergebnisse, geachtet wurde. Für eine ganzheitliche Bewertung der Wirksamkeit und Nachhaltigkeit der Initiative sowie zur Validierung ihrer Interventionslogik verfolgte die Evaluation einen Multimethoden-Ansatz, basierend auf einem quantitativen quasi-experimentellen und einem qualitativen Fallstudiendesign. Während das quasi-experimentelle Design auf der Erhebung von Ziel- und Vergleichsgruppendaten von insgesamt ca. 1.000 Personen beruhte, umfasste das Fallstudienkonzept Interviews und Fokusgruppendiskussionen mit Schlüsselpersonen aus den Gruppen der Implementierungspartner, Zielgruppen, örtlichen Behörden und Branchenexperten.
Querschnittsauswertung: Evidenzen aus Zentralen Projektevaluierungen im Bereich der Übergangshilfe
Als Brücke zwischen humanitärer Hilfe und längerfristiger Entwicklungszusammenarbeit kommt der Überganghilfe, insbesondere vor dem Hintergrund weltweit zunehmender Konflikte, verstärkt Bedeutung zu.
Die Stabstelle Evaluierung der Deutschen Gesellschaft für internationale Zusammenarbeit GmbH (GIZ) hatte infolgedessen die CEval GmbH beauftragt, eine Evaluationssynthese von Vorhaben der Überganghilfe, welche im Zeitraum von Januar 2013 bis April 2021 durchgeführt worden waren, vorzunehmen.
Gegenstand dieser Evaluierungssynthese waren neun zentrale Projektevaluierungen (ZPE) von Übergangshilfe-Projekten und eine ZPE eines regionalen EU-kofinanzierten Projekts mit ähnlichen thematischen Prioritäten, die in vier Ländern durchgeführt worden waren. Die Evaluierung umfasst somit diverse Länder und Regionen: Südsudan, Somalia, Haiti, Ukraine, Irak, Türkei, Libanon und Jordanien. Zusätzlich zu den ZPEs wurde die Synthese auf Basis der von Interviews mit Projektverantwortlichen und, wenn möglich, mit den entsprechenden Evaluator:innen erstellt. Ziel war es, übergangshilfe- und kontextspezifischen Erfolgs- und Misserfolges zu identifizieren und systematisch zusammenzufassen sowie entsprechende Handlungsempfehlungen daraus abzuleiten. Methodisch lag der Synthese ein Mixed-Method Ansatz zu Grunde, bestehend aus einer Kombination aus qualitativer Inhaltsanalyse und QCA (Fuzzy- set qualitative comparative analysis).
Erstellung einer AMPA-Übersicht für 20 multilaterale Organisationen sowie zweier Gesamtübersichten
Das Annual Multilateral Performance Assessment (AMPA) ist ein Instrument der Direktion für Entwicklung und Zusammenarbeit (DEZA) zur jährlichen Leistungsbeurteilung ihrer prioritären multilateralen Organisationen. Ziel sind möglichst neutrale und unabhängige Bewertungen dieser Organisationen, mit geringem Aufwand von Ressourcen auf Basis von existierenden und zugänglichen Informationen. AMPA basiert auf 1) MOPAN-Berichten (externe Quelle), 2) den CCM Annual Reports (DEZA-Beurteilung) sowie 3) Self-Assessments der multilateralen Organisationen (z.B. Scorecards).
Im Rahmen eines beratenden Auswertungsauftrags hat das CEval gemeinsam mit dem Auftraggeber konkrete Maßnahmen zur Optimierung des Performance Assessments erarbeitet.
