Zentrale Projektevaluierung: Sektorvorhaben Nachhaltigkeitsstandards und öffentlich-private Verantwortung
Das Sektorvorhaben „Nachhaltigkeitsstandards und öffentlich-private Verantwortung“ hat das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung hinsichtlich der Schaffung günstiger regulativer Rahmenbedingung in Deutschland für die Umsetzung von Nachhaltigkeitsstandards in globalen Lieferketten beraten. Darüber hinaus war das Projekt für die Entwicklung mehrerer Online-Plattformen mit Informationen zu unternehmerischen Sorgfaltspflichten und Nachhaltigkeits-Siegeln, die sich an kleine und mittelständische Unternehmen (KMU-Kompass), öffentliche Beschaffer (kompass-nachhaltigkeit.de) und private Verbraucher (siegelklarheit.de) richten, verantwortlich.
Die Evaluation erfolgte nach den Vorgaben und Leitlinien für zentrale Projektevaluierungen der GIZ, die ein standardisiertes Analyseraster (Evaluationsmatrix) beinhalten, das auf den OECD-DAC Kriterien (Relevanz, Kohärenz, Effizienz, Effektivität, Impact, Nachhaltigkeit) aufbaut. Das CEval-Team verfolgte einen mixed-methods Ansatz der qualitativen und quantitativen Instrumente und Analyseverfahren kombinierte. Zum Einsatz kamen semi-strukturierte Leitfadeninterviews, Fokusgruppendiskussionen und ein Online-Survey. Hinsichtlich der Prüfung von Kausalzusammenhängen zwischen Projektaktivitäten und potentiellen Wirkungen wurde ein kontributionsanalytischer Ansatz verfolgt.
Zentrale Projektevaluierung: Sektorvorhaben Meeresschutz
Als Mitglied der Vereinten Nationen hat sich Deutschland zu internationalen Zielen zum Meeresschutz verpflichtet (z.B. SDG 14 „Leben unter Wasser“ und UN Biodiversitätskonventionen von 1992). Das Sektorvorhaben Meeresschutz beriet das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) hinsichtlich der Wahrnehmung seiner Rolle in (inter-)nationalen Politikprozessen zum Meeresschutz, hinsichtlich der Ausrichtung und Weiterentwicklung des meeresschutzrelevanten Projekt-Portfolios, hinsichtlich des Setzens neuer politische Akzente und im Bereich der Öffentlichkeitsarbeit zu Themen des Meeresschutzes. Das Ziel des Sektorvorhabens war es, das BMZ durch fachliche Zulieferungen, Analysen bei der Gestaltung von Politik- und Umsetzungsprozessen, die dem Meeresschutz dienen, zu unterstützten.
Die Evaluation des Sektorvorhabens erfolgte nach den Vorgaben und Leitlinien für zentrale Projektevaluationen der GIZ, die ein standardisiertes Analyseraster (Evaluationsmatrix) beinhalten, das auf den OECD-DAC Kriterien (Relevanz, Kohärenz, Effizienz, Effektivität, Impact, Nachhaltigkeit) basiert. Als Erhebungsinstrumente wurden semi-strukturierte Leitfadeninterviews eingesetzt. Hinsichtlich der Prüfung von Kausalzusammenhängen zwischen Projektaktivitäten und potenziellen Wirkungen wurde ein kontributionsanalytischer Ansatz verfolgt.
Meta-Evaluation evaluativer Studien
Evaluative Studien (ES) werden in der GIZ von den operativen Einheiten der Projekte und Programme in Auftrag gegeben und gesteuert. Sie entsprechen dem jeweiligen Wissensbedarf der operativen Einheiten und zeichnen sich durch Flexibilität hinsichtlich des Evaluierungsgegenstandes, der Evaluierungskriterien und der angewandten Methoden aus. Im Gegensatz zu zentralen Projektevaluierungen werden ES nicht direkt von der Stabsstelle Evaluierung der GIZ gesteuert. Die Stabsstelle bietet jedoch auf Anfrage einen sogenannten Evaluation Support für Mitarbeiter:innen an, die mit dem Management von ES betraut sind.
Im Jahr 2022 hatte die GIZ-Evaluierungsabteilung eine Meta-Evaluierung einer Stichprobe von 27 ES in Auftrag gegeben, die zwischen 2020 und 2022 durchgeführt wurden. Der Zweck dieser Meta-Evaluierung war es, Informationen über die methodische Qualität und den Nutzen von ES in der GIZ zu liefern sowie zu verstehen, warum ES in Auftrag gegeben werden (Kontext) und wie sie umgesetzt werden (methodischer Ansatz). Die Meta-Evaluierung basierte auf einer Systematic Review der Evaluierungsberichte und der Terms of Reference. Die Analyse wurde anhand eines umfassenden Meta-Evaluierungsrasters durchgeführt, das eine Reihe von Aspekten enthielt, die von den Reviewer:innen für die einzelnen ES bewertet wurden. Darüber hinaus wurden halbstrukturierte Interviews mit den für die Verwaltung der ES zuständigen Mitarbeitern geführt, um einen Einblick in ihre Erfahrungen mit dem Evaluation Support und den Nutzen der Ergebnisse der ES für die Projektsteuerung zu erhalten.
Evaluation der International Sustainability Academy, ISA
Die International Sustainability Academy (ISA) ist ein Projekt der Schutzgemeinschaft Deutscher Wald Hamburg e.V. (SDW). Die ISA bietet interessierten Personen, die an SDG-bezogenen Aktivitäten beteiligt sind und aus Ländern stammen, die auf der Liste des Entwicklungshilfeausschusses (DAC) stehen, ein 9-monatiges Stipendienprogramm an. Es wird durch das Bundesministerium für Wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) mit dem Ziel gefördert, die Internationale Zusammenarbeit bei der Umsetzung der Sustainable Development Goals (SDGs) zu unterstützen und zu stärken. ISA startete im September 2019 die erste und im Jahr 2022 die zweite Förderphase.
Zur Halbzeit der zweiten Förderphase wurde die CEval GmbH von der SDW mit der Durchführung einer Zwischenevaluierung beauftragt. Ziel der Evaluation war es, eine Zwischenbilanz zu ziehen und Optimierungspotenziale zur Ausgestaltung des Stipendienprogrammes zu identifizieren. Die Evaluation basierte auf den OECD-DAC Kriterien und adressierte damit Fragen zur Relevanz, Kohärenz, Effizienz, Effektivität, Impact und zur Nachhaltigkeit des Stipendienprogramms.
Methodisch wurde für die Evaluation ein Mixed-Methods-Ansatz eingesetzt, in dem qualitative und quantitative Instrumente und Analyseverfahren kombiniert wurden. In qualitativer Hinsicht kamen die Auswertung von Projektdokumenten, semi-strukturierte Leitfadeninterviews und Fokusgruppendiskussionen mit verschiedenen Stakeholdern sowie teilnehmende Beobachtungen des Auswahlverfahrens zum Einsatz. Weiterhin wurden quantitative Online-Befragungen von aktuellen ISA Stipendiat:innen und Alumni zur Erfassung ihrer Erfahrungen und persönlichen Perspektiven auf das Stipendienprogramms durchgeführt.
Messung der Kundenzufriedenheit bei AIZ-Dienstleistungen für GIZ-Vorhaben, Folgeerhebung 2022
Um eine stetige Qualitätssicherung ihrer Dienstleistungen zu gewährleisten, hat die Akademie für Internationale Zusammenarbeit (AIZ) die CEval GmbH beauftragt, die Erhebungswelle 2022 Ihrer Kundenzufriedenheitsbefragung durchzuführen. Ziel ist es, die Zufriedenheit der GIZ-internen Kund:innen mit den Dienstleistungen der AIZ im Bereich der beruflichen Bildung sowie ggf. Optimierungspotenziale zu ermitteln.
Zu diesem Zweck wurden GIZ-interne Kund:innen im Rahmen einer teilstandardisierten Telefonbefragung zu den Bereichen Kommunikation, Beratung und Dienstleistung, Arbeitsweise und Entwicklungsorientierung befragt. Basierend auf den Befunden wurden sowohl Stärken als auch Schwächen der von der AIZ durchgeführten Maßnahmen sowie daraus resultierende Verbesserungspotenziale identifiziert.
Messung der Kundenzufriedenheit bei AIZ-Dienstleistungen für GIZ-Vorhaben, Folgeerhebung 2020
Um eine stetige Qualitätssicherung zu gewährleisten, hatte die Akademie für Internationale Zusammenarbeit (AIZ) die CEval GmbH zum zweiten Mal in Folge beauftragt die Kundenzufriedenheit bei AIZ- Dienstleistungen für GIZ- Vorhaben zu evaluieren. Zu diesem Zweck wurden insgesamt elf GIZ-interne Kund:innen für Aufträge bis Juni 2020 zwischen Dezember 2020 und Januar 2021 telefonisch befragt und die Daten mittels deskriptiver Statistik ausgewertet.
Das Evaluierungsdesign gliederte sich in vier inhaltliche Bereiche: Kommunikation, Beratung und Dienstleistung, Arbeitsweise und Entwicklungsorientierung. Basierend auf den Befunden, wurden sowohl Stärken als auch Schwächen der von der AIZ durchgeführten HCD-Maßnahmen sowie daraus resultierende Verbesserungspotenziale identifiziert. Abschließend erfolgte ein Vergleich der Daten mit denen aus dem Vorjahr in Hinblick auf mögliche Trends.
Wissenschaftliche M&E-Begleitung von zwei WaSH-Projekten in Äthiopien und Kenia
Die Knorr-Bremse Global Care e.V. (KBGC) plant die Umsetzung zweier WASH-Projekte in Äthiopien und Kenia. Gemeinsames Ziel der beiden Vorhaben ist die Reduktion von Sterblichkeits- und Krankheitsraten durch wasserverbundene Krankheiten. Hierfür ist eine Reihe von, an die Rahmenbedingungen in den jeweiligen Umsetzungsregionen angepasste Maßnahmen geplant, wie bspw. zur Verbesserung des Zugangs zu sauberem Wasser, zur Steigerung des Wissens und der Kompetenzen der beteiligten Akteure, zur Rehabilitation sanitärer Einrichtungen, zur Verbreitung energieeffizienterer Öfen, zur Gesundheitsaufklärung sowie schließlich zu Einstellungs- und Verhaltensänderungen bei den Zielgruppen. Dadurch soll ein Beitrag zur Verbesserung der allgemeinen Lebensbedingungen der Zielgruppen geleistet werden.
Die CEval GmbH übernimmt die wissenschaftliche Begleitung des Monitorings und der Evaluation der beiden Projekte, mit dem Ziel, deren Wirksamkeit zu erfassen. Die Umsetzung erfolgt in enger Zusammenarbeit mit nationalen Gutachtern in beiden Ländern. Die Evaluation der Projekte wird in erster Linie von diesen direkt vor Ort durchgeführt, während die CEval GmbH die Erstellung des Evaluationsdesigns und Methodenkonzepts, die Schulung der Monitoringverantwortlichen sowie Begleitung des gesamten Prozesses übernimmt.
Begleitende Zwischenevaluation der „Palestinian-German Science Bridge“ (PGSB)
Das Programm „Palestinian German Science Bridge“ ist ein vom Bundesministerium für Bildung und Forschung (BMBF) finanziertes Pilotprojekt, welches gemeinsam vom Forschungszentrum Jülich und der „Palestinian Academy for Science and Technology“ (PALAST) umgesetzt wird und auf die Etablierung einer langfristen Ausbildungs- und Forschungskooperation zwischen dem Forschungszentrum und den palästinensischen Universitäten abzielt. Das Programm vereint hierfür die Mobilität von Studierenden und (Nachwuchs-)Wissenschaftler*innen, den wissenschaftlichen Austausch von Forscher*innen, die Unterstützung von Forschungskooperationen und die Reintegration palästinensischer Forschender in den palästinensischen Forschungssektor.
Das Forschungszentrum Jülich hat die CEval GmbH damit beauftragt, das Forschungszentrum hinsichtlich der Konzeption einer Mid-Term Evaluation des Programms zu beraten sowie bei deren Durchführung zu unterstützen. Die Evaluation sollte die kurz- bis mittelfristigen Ergebnisse des Programms beurteilen sowie die Aussichten der langfristigen Zielerreichung. Ziel der Evaluation war es des Weiteren, Verbesserungspotenziale zur weiteren Optimierung des Programms zu identifizieren.
Methodisch basierte die Evaluation auf einem Methodenmix aus qualitativen und quantitativen Datenerhebungs- und -auswertungsmethoden. Die Datenerhebung kombinierte eine Dokumenten- und Sekundärdatenanalyse mit leitfadengestützten Interviews sowie teilstandardisierten Online-Befragungen der Stakeholder des Projekts. Die Datenanalyse vereinte deskriptive Statistik und qualitative Inhaltsanalyse. Aufgrund der COVID-19 Pandemie war die Evaluation als Remote-Evaluation konzipiert.
Ressortgemeinsame strategische Evaluierung des AA- und des BMZ-Engagements in Irak
Die Bundesregierung beabsichtigt, im Rahmen ihres Krisenengagements in Irak eine weitere Verankerung von Monitoring und Evaluierung als Instrumente des Lernens und der Qualitätssicherung, der Rechenschaftslegung und der strategischen Steuerung. In diesem Kontext wurde eine ressortgemeinsame Evaluierung des Irak-Engagements des Auswärtigen Amtes (AA) und des Bundesministeriums für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) durchgeführt. Diese sollte gleichzeitig als Pilotvorhaben und möglichst als Modell für ressortgemeinsame Evaluierungen beider Häuser in relevanten Handlungsfeldern und an ihren Schnittstellen fungieren. Hauptziel dieser ressortgemeinsamen Evaluierung war das gemeinsame institutionelle Lernen. Die AA-Komponente der Evaluation wurde von einem Konsortium unter Federführung der GFA Consulting Group realisiert, an dem die CEval GmbH beteiligt war; die BMZ-Komponente durch das Deutsche Evaluierungsinstitut (DEval). Beide Evaluationsteams arbeiteten in einer Arbeitsgemeinschaft eng zusammen.
Ziel der Evaluierung war es, eine unabhängige und umfassende Analyse und Bewertung des Engagements der beiden Ressorts vorzunehmen, um Erkenntnisse für die (gemeinsame) Steuerung zu gewinnen und zu nutzen. Durch die Evaluierung wurden Erkenntnisse über Relevanz, Effektivität und übergeordnete Wirkungen, Effizienz, Nachhaltigkeit bzw. Anschlussfähigkeit sowie Koordination, Kohärenz und Komplementarität des Irak-Engagements beider Ressorts gewonnen. Weiterhin hat die Evaluierung Handlungsempfehlungen für eine Optimierung des Gesamtengagements und einzelner Maßnahmen, Strukturen und Prozesse geliefert, um das laufende Portfolio ggf. nachzusteuern. Schließlich wurden aus dem AA-BMZ Engagement in Irak Lernerfahrungen für ein ähnliches Engagement in anderen Krisenkontexten identifiziert. Die Evaluierung diente auch der begleitenden bzw. abschließenden Erfolgskontrolle des Länderportfolios gemäß Bundeshaushaltsordnung.
Methodisch basierte die Evaluation auf einem breiten Mix aus qualitativen und quantitativen Datenerhebungs- und Auswertungsmethoden. Die Datenerhebungen wurden aufgrund pandemiebedingter Reisebeschränkungen durch das Konsortium sowohl in Deutschland als auch im Irak remote realisiert bzw. gesteuert.
Entwicklung eines Monitoring- und Evaluationskonzept für die Deutsche Stiftung für Internationale Rechtliche Zusammenarbeit e.V.
Seit 1992 unterstützt Die Deutsche Stiftung für internationale Rechtliche Zusammenarbeit e.V. (IRZ) im Auftrag und mit Mitteln des Bundesministeriums der Justiz und für Verbraucherschutz (BMJV) Partnerstaaten bei der Entwicklung und Konsolidierung rechtsstaatlicher und marktwirtschaftlicher Strukturen. Zu den rund 25 Partnerstaaten zählen u.a. neue EU Mitgliedsstaaten und Beitrittskandidaten sowie weitere Staaten Südosteuropas, Zentralasiens, Nordafrikas und des Nahen Ostens. Diese Staaten unterstützt die Stiftung insbesondere beim Schutz von Menschenrechten sowie in den Bereichen Rechtsstaatlichkeit und Justiz, Zivil- und Wirtschaftsrecht, öffentliches Recht, Strafrechtspflege sowie Europarecht.
Die CEval GmbH unterstützte die IRZ bei der Entwicklung eines umfassenden Monitoring- und Evaluationskonzeptes für die vom BMJV zuwendungsfinanzierte Programmelinie der Stiftung. Die Leistung umfasste die Operationalisierung des Zielsystems der IRZ mittels geeigneter Indikatoren und der Entwicklung eines Datenerhebungsplans. Dabei wurde eine Bestandsaufnahme des bisherigen Instrumentariums der IRZ durchgeführt und daran angeschlossen. Im Rahmen der Implementierung des M&E-Konzepts führte die CEval GmbH ein dreitägigen Capacity Building Intensivtraining zur Schulung der Mitarbeiter des IRZ durch und begleitete die testweise Umsetzung der Monitoringinstrumente im Sinne eines Backstopping. Die Ergebnisse des Entwicklungsprozesses wurden abschließend in einer Handreichung mit Hinweisen zur praktischen Umsetzung des M&E-Konzepts dokumentiert.
