Wirkungsevaluation
Projektstart: Dezember 2022
Projektende: April 2025
Unterstützung des BfN bei der Evaluierung durch den Wissenschaftsrat (WR) 2023/2024
[Mehr anzeigen]Als Ressortforschungseinrichtung des Bundes wird das Bundesamt für Naturschutz (BfN) in regelmäßigen Abständen durch externe Expert:innen evaluiert. Nach der ersten externen Evaluation durch den Wissenschaftsrat (WR) im Jahr 2007 und der zweiten Evaluation 2015 steht nun 2024 die dritte Evaluierung an. Ziel des Vorhabens ist die Unterstützung des BfN bei der konzeptionellen Vor- und Nachbereitung des anstehenden Evaluierungsprozesses durch externe, wissenschaftliche Expertise.
Dabei werden folgende Kernaufgaben erfüllt:
- Unterstützung bei der Sammlung, Auswertung und Aufbereitung von Daten und Informationen, die zur Beantwortung der Fragen an das BfN benötigt werden und der Erstellung des Berichtes;
- Unterstützung bei der Vorbereitung und Durchführung der Begehung durch den Wissenschaftsrat;
- Unterstützung bei der Auswertung der Evaluierungsergebnisse sowie bei der Nachbereitung der Evaluierung;
- Analyse der Wirksamkeit und Qualität der wissenschaftsbasierten Politikberatung und Wissenskommunikation des BfN einschließlich der Entwicklung von Empfehlungen zu deren systematischer Weiterentwicklung. Erarbeitung von Vorschlägen zur Integration dieser Empfehlungen in das Qualitätsmanagement des Wissenschaftlichen Arbeitens des BfN.
Management: Hansjörg Gaus | Mitarbeiter:innen: Susanne Johanna Väth, Katharina Hary, Laszlo Szentmarjay, Vanessa KriegerAuftraggeber: Bundesamt für Naturschutz
Begleitende Evaluation, Wirkungsevaluation
Projektstart: Februar 2021
Projektende: März 2024
Politikanalyse zur Evaluation der Deutschen Anpassungsstrategie an den Klimawandel
[Mehr anzeigen]Die Deutsche Anpassungsstrategie an den Klimawandel (DAS) und die dazugehörigen Aktionspläne (APA I bis III) bilden den nationalen politischen Rahmen für die Anpassung an den Klimawandel in Deutschland. Doch auch auf subnationaler Ebene tragen viele Beteiligte dazu bei, die Anpassungskapazität zu erhöhen und die Verwundbarkeit gegenüber Klimafolgen zu senken, zum Beispiel die Bundesländer, Kommunen und weitere nicht-staatliche Akteure.Im Rahmen der zweiten Evaluation der Deutschen Anpassungsstrategie sollen u.a. die Fragen beantwortet werden, wo Deutschland mit der Anpassung steht, ob bereits genug getan wird oder es in einigen Bereichen noch zielgerichtetere, effizientere Maßnahmen braucht, wie die verschiedenen Akteure zusammenarbeiten und wo es noch Verbesserungspotenzial gibt. Es sollen Fortschritte zur Anpassung in Deutschland, auch auf subnationaler Ebene, aufgezeigt und Handlungsbedarfe identifiziert werden. Die Ergebnisse fließen in die Weiterentwicklung des Anpassungsprozesses in Deutschland ein. Die CEval GmbH führt die vom Umweltbundesamt (UBA) beauftragte Evaluation gemeinsam mit adelphi (Berlin) und einem Kreis von nationalen Anpassungsexpert*innen durch. Schwerpunkte der CEval GmbH liegen dabei auf der Unterstützung der Weiterentwicklung der Evaluationskonzeption und -methodik, der Durchführung der eigentlichen Evaluation mittels eines Multi-Methoden-Designs und der Aktualisierung der im Zuge der ersten DAS-Evaluation entwickelten Handreichung zu geeigneten methodischen Vorgehensweisen für die Evaluation von Anpassungsstrategien.
Management: Hansjörg Gaus | Mitarbeiter:innen: Susanne Johanna Väth, Laszlo Szentmarjay, Janis WickeAuftraggeber: Umweltbundesamt
Strategische Evaluation
Projektstart: Oktober 2022
Projektende: September 2023
Evaluation “Recht auf Bildung, Recht auf Lernen“ Finnlands Entwicklungszusammenarbeit im Bildungssektor
[Mehr anzeigen]Die Abteilung für Evaluierung des finnischen Außenministeriums (MFA) hat eine strategische Evaluation in Auftrag gegeben, um das Ministerium darüber zu informieren, wie es den verschiedenen Akteuren der Entwicklungspolitik und -zusammenarbeit gelingt, Finnlands globale Rolle im Bildungsbereich zu stärken. Die Evaluierung verfolgte 3 Hauptziele: Erstens sollte die Relevanz, Kohärenz und Effizienz der Interventionen verschiedener Akteure der finnischen Entwicklungszusammenarbeit im Bildungssektor analysiert werden. Zweitens sollten die Wirksamkeit von Finnlands Beitrag zur Entwicklung des Bildungssektors in Partnerländern untersucht werden. Drittens sollten alternative zukünftiger Ansätze für eine effektive und kohärente Antwort Finnlands auf die globale Lernkrise identifiziert und dokumentiert werden.
Der übergreifende Analyserahmen der Evaluierung war eine theoriegestützte Kontributionsanalyse, die auf einer nested (macro-micro level) Theory of Change basierte. Zur Beantwortung der Evaluierungsfragen setzte das Evaluierungsteam eine Kombination verschiedener Datenerhebungs- und Analysemethoden ein. Die Methoden umfassten eine Dokumentenanalyse, semi-strukturierte Interviews, drei Länderfallstudien (Äthiopien, Nepal und Palästina), zwei themenbezogene Fallstudien (zur Ausbildung von Grundschullehrern in Mosambik und zur beruflichen Bildung in der Ukraine) und - speziell mit Blick auf die Zukunft - die Delphi-Methode (Interviews und Online-Survey).
Management: Susanne Johanna Väth | Mitarbeiter:innen: Nicolle Comafay-Heinrich, Janis Wicke | Kooperationspartner: Particip, NIRASAuftraggeber: Finnisches Außenministerium
Ex-Post und Schlussevaluation, Wirkungsevaluation
Projektstart: April 2022
Projektende: März 2023
Zentrale Projektevaluation des Sektorvorhabens Meeresschutz
[Mehr anzeigen]Als Mitglied der Vereinten Nationen hat sich Deutschland zu internationalen Zielen zum Meeresschutz verpflichtet (z.B. SDG 14 „Leben unter Wasser“ und UN Biodiversitätskonventionen von 1992). Das Sektorvorhaben Meeresschutz beriet das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) hinsichtlich der Wahrnehmung seiner Rolle in (inter-)nationalen Politikprozessen zum Meeresschutz, hinsichtlich der Ausrichtung und Weiterentwicklung des meeresschutzrelevanten Projekt-Portfolios, hinsichtlich des Setzens neuer politische Akzente und im Bereich der Öffentlichkeitsarbeit zu Themen des Meeresschutzes. Das Ziel des Sektorvorhabens war es, das BMZ durch fachliche Zulieferungen, Analysen bei der Gestaltung von Politik- und Umsetzungsprozessen, die dem Meeresschutz dienen, zu unterstützten.
Die Evaluation des Sektorvorhabens erfolgte nach den Vorgaben und Leitlinien für zentrale Projektevaluationen der GIZ, die ein standardisiertes Analyseraster (Evaluationsmatrix) beinhalten, das auf den OECD-DAC Kriterien (Relevanz, Kohärenz, Effizienz, Effektivität, Impact, Nachhaltigkeit) basiert. Als Erhebungsinstrumente wurden semi-strukturierte Leitfadeninterviews eingesetzt. Hinsichtlich der Prüfung von Kausalzusammenhängen zwischen Projektaktivitäten und potenziellen Wirkungen wurde ein kontributionsanalytischer Ansatz verfolgt.
Management: Susanne Johanna Väth | Mitarbeiter:innen: Janis WickeAuftraggeber: Deutsche Gesellschaft für Internationale Zusammenarbeit
Ex-Post und Schlussevaluation, Wirkungsevaluation
Projektstart: März 2022
Projektende: Februar 2023
Zentrale Projektevaluierung des Sektorvorhabens „Bodenschutz, Desertifikationsbekämpfung, Nachhaltiges Landmanagement“
[Mehr anzeigen]Das Sektorvorhaben Bodenschutz, Desertifikationsbekämpfung, nachhaltiges Landmanagement unterstützt das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) in seiner Rolle als Unterzeichner des Übereinkommens der Vereinten Nationen zur Bekämpfung der Wüstenbildung (UNCCD) und berät es zu nachhaltigem Landmanagement, Bodenschutz und Klimafolgen. Darüber hinaus erprobt und implementiert das Projekt mit Partnern in Indien und Kenia Ansätze zur Nutzung von Bodenschutzmaßnahmen für den Klimaschutz. Dazu gehören die Umsetzung eines Kohlenstoffzertifizierungssystems in Kenia und Studien zu den Klimaauswirkungen nachhaltiger Landbewirtschaftungsmethoden in Indien. Die daraus gewonnenen Erfahrungen und Erkenntnisse sollen die Verbreitung auf nationaler und internationaler Ebene aufbereitet werden.
Die CEval GmbH ist von der GIZ beauftragt das Sektorvorhaben zu evaluieren. Die Evaluation erfolgt nach den Vorgaben und Leitlinien für zentrale Projektevaluationen der GIZ, die ein standardisiertes Analyseraster (Evaluationsmatrix) beinhalten, das auf den OECD-DAC Kriterien (Relevanz, Kohärenz, Effizienz, Effektivität, Impact, Nachhaltigkeit) aufbaut. Das CEval-Team verfolgt einen mixed-methods Ansatz der qualitativen und quantitativen Instrumente und Analyseverfahren kombiniert. Zum Einsatz kommen semi-strukturierte Leitfadeninterviews, Fokusgruppendiskussionen und ein Online-Survey. Das Evaluationsteam wird in der Projektregion in Kenia vor Ort Daten erheben. Hinsichtlich der Prüfung von Kausalzusammenhängen zwischen Projektaktivitäten und potentiellen Wirkungen wird ein kontributionsanalytischer Ansatz verfolgt.
Management: Janis Wicke | Mitarbeiter:innen: Susanne Johanna VäthAuftraggeber: Deutsche Gesellschaft für Internationale Zusammenarbeit
Meta-Evaluation
Projektstart: März 2022
Projektende: Februar 2023
Meta-Evaluation evaluativer Studien
[Mehr anzeigen]Evaluative Studien (ES) werden in der GIZ von den operativen Einheiten der Projekte und Programme in Auftrag gegeben und gesteuert. Sie entsprechen dem jeweiligen Wissensbedarf der operativen Einheiten und zeichnen sich durch Flexibilität hinsichtlich des Evaluierungsgegenstandes, der Evaluierungskriterien und der angewandten Methoden aus. Im Gegensatz zu zentralen Projektevaluierungen werden ES nicht direkt von der Stabsstelle Evaluierung der GIZ gesteuert. Die Stabsstelle bietet jedoch auf Anfrage einen sogenannten Evaluation Support für Mitarbeiter:innen an, die mit dem Management von ES betraut sind.
Im Jahr 2022 hat die GIZ-Evaluierungsabteilung eine Meta-Evaluierung einer Stichprobe von 27 ES in Auftrag gegeben, die zwischen 2020 und 2022 durchgeführt wurden. Der Zweck dieser Meta-Evaluierung ist es, Informationen über die methodische Qualität und den Nutzen von ES in der GIZ zu liefern sowie zu verstehen, warum ES in Auftrag gegeben werden (Kontext) und wie sie umgesetzt werden (methodischer Ansatz).
Die Meta-Evaluierung basiert auf einer systematischen Review der Evaluierungsberichte und der ToR. Die Überprüfung wird anhand eines umfassenden Meta-Evaluierungsrasters durchgeführt, das eine Reihe von Aspekten enthält, die von den Reviewer:innen für die einzelnen ES bewertet werden. Darüber hinaus werden halbstrukturierte Interviews mit den für die Verwaltung der ES zuständigen Mitarbeitern geführt, um einen Einblick in ihre Erfahrungen mit dem Evaluation Support und den Nutzen der Ergebnisse der ES für die Projektsteuerung zu erhalten.
Management: Susanne Johanna Väth | Mitarbeiter:innen: Janis Wicke, Nicolle Comafay-HeinrichAuftraggeber: Deutsche Gesellschaft für Internationale Zusammenarbeit
Begleitende Evaluation, Ex-Post und Schlussevaluation, Meta-Evaluation, Organisationsberatung, Wirkungsevaluation
Projektstart: Oktober 2021
Projektende: September 2022
Programmevaluation des Bundesprogramms Biologische Vielfalt
[Mehr anzeigen]Die Bundesregierung hat mit der nationalen Strategie zur biologischen Vielfalt die Verbesserung des Schutzes und der nachhaltigen Nutzung der biologischen Vielfalt in Deutschland angestrebt. Die Strategie wurde 2007 von der Bundesregierung beschlossen und seit 2015 durch die Naturschutz-Offensive 2020 ergänzt.
Das Bundesprogramm für biologische Vielfalt übernahm seit 2011 als finanzstärkstes deutsches Förderinstrument für Naturschutzprojekte eine entscheidende Rolle im Rahmen der Biodiversitätsstrategie. Es fördert Maßnahmen, die darauf ausgerichtet sind, den Rückgang der biologischen Vielfalt in Deutschland zu stoppen und mittel- bis langfristig in einen positiven Trend umzukehren.
Um den Erfolg abzuschätzen, hat das Bundesprogramm auf der Projektebene Evaluierungen einzelner geförderter Projekte festgelegt. Allerdings fehlte in seiner 10-jährigen Laufzeit eine systematische Querschnittsanalyse.
Deswegen arbeitete das CEval gemeinsam mit adelphi und dem Planungsbüro für angewandten Naturschutz (PAN) eine strukturierte, passgenaue Analysemethodik heraus, mit der systematisch die Qualität des Programms bewertet wurde.
Dazu wurden Dokumente von mehr als 60 abgeschlossenen beziehungsweise weit fortgeschrittenen Projekten systematisch ausgewertet und durch Experteninterviews flankiert. Zusätzlich wurden auf der Ebene der Programmsteuerung und Managementpraxis weitere Interviews geführt, um Optimierungspotenziale des operativen und strategischen Programmanagements herauszuarbeiten. Insgesamt wurden wesentliche Aspekte, Erfolge, Schwächen und Potenziale auf Programm- und Projektebene erfasst und für die Förderpraxis systematisch reflektiert.
Management: Hansjörg Gaus | Mitarbeiter:innen: Susanne Johanna Väth, Janis Wicke | Kooperationspartner: Adelphi Research, Planungsbüro für angewandten NaturschutzAuftraggeber: Bundesamt für Naturschutz
Capacity Development, Meta-Evaluation, Systemevaluation
Projektstart: Juni 2021
Projektende: März 2022
Meta-Evaluation von dezentralen Programm- und Projektevaluationen des Finnischen Außenministeriums 2017-2020
[Mehr anzeigen]Das finnische Außenministerium beauftragte erneut das CEval, zusammen mit Particip und NIRAS, eine Meta-Evaluation seiner dezentralen Evaluationen von Programmen und Projekten in der Entwicklungszusammenarbeit im Zeitraum 2017-2020 durchzuführen. Zielsetzung dieser Meta-Evaluation war es, in Fortführung und Ergänzung zu früheren Meta-Evaluationen mehr über die Nutzung und Nützlichkeit dezentralisierter Evaluationen zu lernen, zu untersuchen, welche Entwicklungen seit der letzten Meta-Evaluierung stattgefunden haben, sowie zu untersuchen, ob die Qualität der Evaluationen und Entwicklungsergebnisse weiter gestiegen ist. Diese Meta-Evaluation ist außerdem für zwei „Neuerungen“ in der Meta-Evaluationspraxis des finnischen Außenministeriums verantwortlich. Sie ist die Erste, die die Methodik der vorherigen Meta-Evaluation repliziert und dadurch einen zulässigen Vergleich der Ergebnisse erlaubt. Außerdem ist sie die erste Meta-Evaluation, die die Perspektive der Hauptnutzer*innen von Evaluationen mit einbezieht, um die Anwendung und Nützlichkeit dezentraler Evaluationen zu bewerten. Um den Erkenntnissen der letzten Meta-Evaluation gerecht zu werden, wurden zudem zusätzliche Merkmale in den Analysen berücksichtigt und die Analysewerkzeuge entsprechend angepasst. Insgesamt verfolgte die Meta-Evaluierung einen Multimethodenansatz, der qualitative und quantitative Auswertungen von Sekundär- und Primärdaten vereint, um evidenzbasierte Erkenntnisse, Rückschlüsse und Empfehlungen für jede der folgenden drei Komponenten zu gewinnen:
Komponente 1 – Meta-Evaluationen von 80 unabhängigen Evaluierungen zur Bewertung der Qualität der Methodik der Evaluierungsberichte und der entsprechenden ToRs. Die aktuelle Meta-Evaluation wurde auch mit der vorherigen Meta-Evaluation verglichen, um Unterschiede und Trends zu identifizieren sowie bestehende Herausforderungen hinsichtlich der Evaluation Capacity innerhalb des finnischen Außenministeriums auszumachen.
Komponente 2 – Inhaltliche Bewertung von 72 Evaluierungsberichten, die minimalen Qualitätsstandards entsprachen, zur Beurteilung der Qualität der Interventionen insgesamt. Die Bewertung betrachtet die Qualität der Interventionen nach OECD-DAC-Kriterien, die Berücksichtigung von Querschnittszielen (CCOs), das heißt (1) Geschlechtergerechtigkeit, (2) Nicht-Diskriminierung mit Fokus auf Inklusion von Menschen mit Behinderungen und (3) Klimaresilienz, sowie des menschenrechtsbasierten Ansatzes (HRBA) und der finnischen Schwerpunktbereiche (PPAs). Außerdem wurde eine qualitative Synthese der Erkenntnisse und der Empfehlungen den Evaluator:innen zur Verbesserung der Qualität der finnischen Entwicklungszusammenarbeit durchgeführt.
Komponente 3 – Auf Basis von Primärdaten aus 26 Interviews mit und 119 Surveyantworten von Mitarbeiter:innen des finnischen Außenministeriums und Projektverantwortlichen, die die Maßnahmen umsetzten wurde die Nutzung und Nützlichkeit der Evaluationen bewertet. Die Interview- und Surveydaten lieferten Erkenntnisse hinsichtlich hilfreicher und hinderlicher Faktoren zur Nützlichkeit von Evaluationen. Aus den Erfahrungsberichten der Interviewten ließen sich zudem Empfehlungen zur Verbesserung der Nützlichkeit ableiten.
Management: Susanne Johanna Väth | Mitarbeiter:innen: Stefan Silvestrini, Hansjörg Gaus, Maja Flaig, Janis Wicke | Kooperationspartner: NIRAS, ParticipAuftraggeber: Finnisches Außenministerium
Wirkungsevaluation
Projektstart: November 2020
Projektende: Januar 2022
Evaluation der Forschungsstipendienprogramme für Wissenschaftlter:innen aus Deutschland (FLF, JSPS, MOST) der Alexander von Humboldt-Stiftung
[Mehr anzeigen]Die Alexander von Humboldt-Stiftung (AvH) ermöglicht hochqualifizierten Wissenschaftler:innen aus aller Welt längerfristige Forschungsaufenthalte in Deutschland und unterstützt die sich daraus ergebenden wissenschaftlichen und kulturellen Verbindungen zwischen In- und Ausland. Das Netzwerk der Stiftung umfasst mittlerweile über 29.000 Wissenschaftler:innen aller Fachgebiete in mehr als 140 Ländern.
Zur Stärkung des Humboldt-Netzwerkes beinhaltet das Programmportfolio der AvH auch drei Forschungsstipendienprogramme, die Wissenschaftler:innen aus Deutschland unterstützen, an Forschungseinrichtungen im Ausland zu arbeiten. Das BMBF-finanzierte Feodor Lynen-Forschungsstipendienprogramm (FLF) ermöglicht deutschen Wissenschaftler:innen einen längerfristigen Forschungsaufenthalt im Ausland. Auf diese Weise soll sowohl das bestehende ausländische Humboldt-Netzwerk gestärkt als auch das Potenzial der Humboldt-Alumni im Ausland in ihrer Funktion als wissenschaftliche Beratende und "Türöffner" für (Nachwuchs-)Wissenschaftler:innen aus Deutschland erschlossen werden. Für die Zielländer Japan und Taiwan kooperiert die Humboldt-Stiftung mit der Japan Society for the Promotion of Science (JSPS) und dem Ministry of Science and Technology, Taiwan (MOST) im Rahmen des JSPS-Programms und des MOST-Programms. Die AvH bietet aus den Fördermitteln des BMBF auch Angebote zur Förderung der Alumni aus allen drei Stipendienprogrammen an. Dazu zählen Wiedereingliederungshilfen, Rückkehrstipendien, erneute Forschungsaufenthalte, Institutspartnerschaften sowie Jahrestagungen und Netzwerkveranstaltungen.
Die Evaluation soll zwei Funktionen erfüllen: Sie soll zum einen im Sinne einer formativen Evaluation eine evidenzbasierte Grundlage für die Weiterentwicklung der Programme liefern. Zum anderen soll sie dazu herangezogen werden, gegenüber den Finanzmittelgebern und der Öffentlichkeit Rechenschaft über die Implementierung und Zielerreichung der Stipendienprogramme abzulegen. Im Zentrum der Evaluation stehen die Fragen, inwiefern das Humboldt-Netzwerk von den drei Programmen profitieren konnte und ob im Hinblick auf die Programmziele geeignete Forschungsstipendiat:innen ausgewählt worden sind.
Die Evaluation zeichnet sich durch einen partizipativen sowie Multimethoden-Ansatz aus. So werden im Rahmen der Evaluation Dokumenten- und Sekundäranalysen kombiniert mit qualitativen (leitfadengestützte Intensivinterviews) sowie quantitativen Erhebungsverfahren (teilstandardisierte Online-Erhebungen).
Management: Hansjörg Gaus | Mitarbeiter:innen: Susanne Johanna Väth, Teresa Böttcher, Laszlo SzentmarjayAuftraggeber: Alexander von Humboldt-Stiftung
Ex-Post und Schlussevaluation, Wirkungsevaluation
Projektstart: April 2019
Projektende: Juli 2021
IKI-Einzelprojektevaluierung
[Mehr anzeigen]Die internationale Klimaschutzinitiative (IKI) fördert seit 2008 auf Projektbasis Vorhaben zu (i) Klimaschutz, (ii) Anpassung an den Klimawandel, (iii) Erhalt der Kohlenstoffsenken und (iv) Schutz der Biodiversität in Entwicklungs- und Schwellenländern. Insgesamt beinhaltet die IKI inzwischen knapp 600 Einzelprojekte und ein Fördervolumen von 2,8 Milliarden Euro. Ihr Schwerpunkt liegt dabei auf dem Klimaschutz, welcher knapp die Hälfte der Projekte umfasst. Eine erste Evaluierung, die im Zeitraum von 2010 bis 2013 durchgeführt wurde, umfasste 115 Projekte. Hier wurde eine Vollerhebung der bis 2011 abgeschlossenen oder fast abgeschlossenen Projekte durchgeführt. Dieses aktuelle Vorhaben zielt auf die Durchführung von weiteren Evaluierungen derjenigen Projekte, die bis Ende 2019 abgeschlossen werden. Die einzelnen Projektevaluierungen bestehen aus detaillierten Analysen nach den OECD DAC-Kriterien, sowie weiteren, programmspezifischen Kriterien. Dabei liegt von der Wirkungskette her der Fokus auf einer Analyse der Inputs, Outputs und Outcomes. Wirkungen auf höheren Ebenen werden nur aufgrund der zum Zeitpunkt der Evaluierungen vorliegenden belastbaren Informationen analysiert.
Management: Stefan Silvestrini | Mitarbeiter:innen: Susanne Johanna Väth, Janis Wicke