Ressortgemeinsame strategische Evaluierung des zivilen Engagements der Bundesregierung in Afghanistan
Gegenstand der ressortgemeinsamen strategischen Evaluierung war das zivile Engagement der Bundesregierung in Afghanistan in den Jahren von 2013 bis zum weitgehenden Abzug internationaler Organisationen aus Afghanistan im August 2021. Die Evaluierung konzentrierte sich auf die Aktivitäten des Auswärtigen Amts (AA), des Bundesministeriums für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) und des Bundesministeriums des Inneren und für Heimat (BMI).
Die Evaluierung wurde durch eine Arbeitsgemeinschaft von drei Evaluationsteams umgesetzt: Konsortium der GFA Consulting Group für das AA, Evaluationsteam des Deutschen Evaluierungsinstituts der Entwicklungszusammenarbeit (DEval) für das BMZ sowie Evaluationsteam der Deutschen Hochschule der Polizei (DHPol) für das BMI.
Die Evaluation fokussierte auf die Bereiche Stabilisierung, Polizeiaufbau, Entwicklungszusammenarbeit und Wiederaufbau, Humanitäre Hilfe sowie Auswärtige Kultur- und Bildungspolitik (AKBP) und damit auf die innerhalb dieser Bereiche durch die Ministerien gemäß ihrer jeweiligen Ressortzuständigkeit durchgeführten Maßnahmen.
Das Hauptziel der strategischen Evaluierung war es, eine unabhängige und umfassende Analyse und Bewertung des zivilen Afghanistan-Engagements der Bundesregierung im Zeitraum 2013-2021 vorzunehmen, um Erkenntnisse für die Steuerung zukünftiger ziviler Engagements der Bundesregierung in besonders fragilen und durch massive Gewaltkonflikte gekennzeichneten Kontexten zu gewinnen. Sie diente dem gemeinsamen institutionellen Lernen insbesondere von AA, BMI und BMZ sowie der politischen Rechenschaftslegung und Erfolgskontrolle.
Die Evaluierung wurde entlang der sechs OECD/DAC-Kriterien strukturiert, wobei drei Analyseebenen unterschieden wurden: Die politische (Entscheidungs-)Ebene, die strategische Ebene der Ministerialverantwortlichen und die operative Ebene der umsetzenden Organisationen. Sie folgte einem theoriebasierten Ansatz: Hierfür wurden Theories of Change (ToC) für die politische Ebene der Bundesregierung sowie für die strategischen Ebenen der drei Ressorts erarbeitet. Die aufgrund der Sicherheitslage in Afghanistan als Remote-Evaluation konzipierte Studie basierte methodisch auf einem Mix aus qualitativen und quantitativen Datenerhebungs- und Datenauswertungsmethoden. Sie kombinierte Dokumenten- und Sekundärdatenanalysen mit leitfadengestützten Einzel- und Gruppeninterviews.
Verbleibstudie der Alumni der Auslandsinstitute der Max Weber Stiftung 2005-2022
Die Max Weber Stiftung (MWS) zählt zu den maßgeblichen Trägern deutscher geistes- und sozialwissenschaftlicher Forschung im Ausland. Dafür unterhält die Stiftung weltweit elf Auslandsinstitute, die eine Brückenfunktion zwischen den Gastländern und Deutschland einnehmen. Die Auslandsinstitute nehmen vor allem bei der Ausbildung und Förderung junger Wissenschaftler:innen in einem internationalen und interdisziplinären Umfeld einen hohen Stellenwert ein.
Die CEval GmbH wurde von der MWS mit der Durchführung einer Verbleibstudie beauftragt. Hierbei wird der berufliche Werdegang ehemaliger Mitarbeiter:innen untersucht, die im Rahmen einer Qualifikationsstelle oder eines Langzeitstipendiums an einem der Auslandsinstitute der MWS tätig waren und zwischen 2005 und 2022 ausgeschieden sind. Ziel der Studie ist es, den Erfolg und damit die Wettbewerbsfähigkeit der Nachwuchsförderung an den Auslandsinstituten zu evaluieren.
Die Verbleibstudie verfolgt einen mixed-methods Ansatz, der qualitative und quantitative Instrumente und Analyseverfahren kombiniert. Zum Einsatz kommen ein englischsprachiger Online-Survey, semi-strukturierte Leitfadeninterviews sowie eine Sekundärdaten-Analyse.
Evaluierung der EU-Innenfonds: Halbzeitevaluierungen des Inneren Sicherheitsfonds (ISF) und des Instruments für finanzielle Hilfe im Bereich Grenzverwaltung und Visumpolitik (BMVI)
Die Europäische Kommission (EU KOM) stellt unter Verantwortung der Generaldirektion Migration und Inneres (DG HOME) den Inneren Sicherheitsfonds (ISF; verwaltet durch das Bundkriminalamt (BKA)), das Instrument für finanzielle Hilfe im Bereich Grenzverwaltung und Visumpolitik (Border Management and Visa Instrument, BMVI, verwaltet durch die Bundespolizei) sowie den Asyl-, Migrations- und Integrationsfonds (AMIF, verwaltet durch das Bundesamt für Migration und Flüchtlinge (BAMF)) zur Verfügung. Diese bilden zusammen die so genannten „Innenfonds“ (Home Affairs Funds).
Die Mitgliedstaaten sind verpflichtet, für die EU-KOM Halbzeit- und Endevaluierungen über die Durchführung der aus den einzelnen Fonds finanzierten Maßnahmen und den Grad der Zielerreichung der nationalen Programme, die aus den Innenfonds gefördert werden, zu erstellen. Nutzer:innen der Evaluierungen sind insbesondere EU (DG Home), die fondsverwaltenden Behörden BKA, BPOL und BAMF sowie deren Begleitausschüsse.
Ziel der Evaluierungen ist eine Erfolgsbewertung der Ergebnisse und Wirkungen der aus den Innenfonds kofinanzierten Programme und Maßnahmen auf Basis der Kriterien Wirksamkeit, Effizienz, Relevanz, Kohärenz und EU-Mehrwert. Insbesondere die Kohärenz zwischen den einzelnen Fonds ist dabei von Interesse. Neben der Erfolgsbewertung sollen die Evaluierungen auch Empfehlungen zur Verbesserung der Qualität der Gestaltung und Umsetzung der nationalen Programme erarbeiten sowie die Kohärenz und Nutzung von Synergiepotentialen zwischen den einzelnen Fonds analysieren.
Nachdem die Gesellschaft für Internationale Zusammenarbeit (GIZ) 2017 im Auftrag des BKA die Halbzeitevaluierung für den ISF durchgeführt hat, wurde sie nun erneut mit der Durchführung der Endevaluierung des ISF für die Förderperiode 2014-2020 sowie mit der Halbzeitevaluierung des ISF, des BMVI und des AMIF für die Förderperiode 2021-2027 beauftragt.
Im Zuge dessen hat die GIZ die CEval GmbH damit beauftragt, die
> Endevaluierung des ISF, Teilbereich Sicherheit und Teilbereich Grenze, Förderperiode 2014-2021,
> Halbzeitevaluierung des ISF, aktuelle Förderperiode 2021-2027 sowie
> Halbzeitevaluierung des BMVI, aktuelle Förderperiode 2021-2027
durchzuführen.
Im Sinne einer Quellen- und Methodentriangulation kommen verschiedene Erhebungsverfahren zur Anwendung:
> Recherche sämtlicher relevanter Programm- und Projektdokumente sowie von Monitoringdaten,
> Teilstandardisierte Online-Erhebung mit Projektnehmer*innen und deren Implementierungspartner:innen sowie weiteren potentiell Antragsberechtigten und
> Leitfadengestützte qualitative Interviews mit Programm- und Projektverantwortlichen.
Evaluation der Aufnahmeverfahren in Stipendienprogramme der Hans-Böckler-Stiftung (HBS)
Die Hans-Böckler-Stiftung (HBS) vergibt Stipendien an Abiturient:innen im Zweiten Bildungsweg, Künstler:innen und Studierende sowie an Promovierende in allen Fachgebieten. Zur Erlangung eines Stipendiums durchlaufen die Bewerber:innen ein mehrstufiges und mittlerweile digitalisiertes Aufnahmeverfahren, bei dem ihre Eignung anhand einer Reihe von Prüfkriterien bewertet wird. Die CEval GmbH wurde von der HBS beauftragt die Auswahlverfahren zu evaluieren. Hierbei sind insbesondere die Angemessenheit, Zielgerichtetheit und Effizienz des Verfahrens sowie die Fairness und Nachvollziehbarkeit der Prüfkriterien zu untersuchen.
Das CEval-Team orientiert sich dabei an den den OECD-DAC Kriterien mittels derer systematisch ein Analyseraster ausgearbeitet wird. Die Evaluation verfolgt einen Mixed-Methods Ansatz, der qualitative und quantitative Instrumente und Analyseverfahren kombiniert. Zum Einsatz kommen semi-strukturierte leitfadengestützte Interviews, qualitative Kurzinterviews, ein Online-Survey sowie eine Sekundärdaten-Analyse.
Evaluation “Recht auf Bildung, Recht auf Lernen“ Finnlands Entwicklungszusammenarbeit im Bildungssektor
Die Abteilung für Evaluierung des finnischen Außenministeriums (MFA) hatte eine strategische Evaluation in Auftrag gegeben, um das Ministerium darüber zu informieren, wie es den verschiedenen Akteuren der Entwicklungspolitik und -zusammenarbeit gelingt, Finnlands globale Rolle im Bildungsbereich zu stärken. Die Evaluierung verfolgte 3 Hauptziele: Erstens sollte die Relevanz, Kohärenz und Effizienz der Interventionen verschiedener Akteure der finnischen Entwicklungszusammenarbeit im Bildungssektor analysiert werden. Zweitens sollten die Wirksamkeit von Finnlands Beitrag zur Entwicklung des Bildungssektors in Partnerländern untersucht werden. Drittens sollten alternative zukünftiger Ansätze für eine effektive und kohärente Antwort Finnlands auf die globale Lernkrise identifiziert und dokumentiert werden.
Der übergreifende Analyserahmen der Evaluierung war eine theoriegestützte Kontributionsanalyse, die auf einer nested (macro-micro level) Theory of Change basierte. Zur Beantwortung der Evaluierungsfragen setzte das Evaluierungsteam eine Kombination verschiedener Datenerhebungs- und Analysemethoden ein. Die Methoden umfassten eine Dokumentenanalyse, semi-strukturierte Interviews, drei Länderfallstudien (Äthiopien, Nepal und Palästina), zwei themenbezogene Fallstudien (zur Ausbildung von Grundschullehrern in Mosambik und zur beruflichen Bildung in der Ukraine) und – speziell mit Blick auf die Zukunft – die Delphi-Methode (Interviews und Online-Survey).
Begleitende Evaluation des Karriereförderprogramms „Talente sichern – Zukunft gestalten“ (2023/2024)
Das Programm „Talente sichern – Zukunft gestalten“ des Cusanuswerks – Bischöfliche Studienförderung zielt auf die Förderung des weiblichen Führungsnachwuchses. Hierzu setzt das Programm auf Mentoringelemente, also eine tutorielle Betreuung von Stipendiat:innen deutscher Begabtenförderungswerke durch berufserfahrene Akademiker:innen, auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks. Seit Beginn des Karriereförderprogramms im Jahr 2007 führt das CEval zur Qualitätssicherung prozessbegleitende, externe Evaluationen durch. Auch im Programmdurchlauf 2023/2024 findet eine begleitende Evaluation statt. Zentrale Aufgabe dieser Evaluation ist es, den durchführungsverantwortlichen Mitarbeiter:innen des Cusanuswerks steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse sind entsprechend der Zielsetzungen des Programms Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen, zur Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten. Methodisch stützt sich die Evaluation auf onlinebasierte, standardisierte Baseline- und Abschlussbefragungen der Mentees und Mentor:innen.
Ausblickstudie zum DAAD-Programm „HAW.International“
Der Deutsche Akademische Austauschdienst e. V. (DAAD) ist die weltweit größte Förderorganisation für den internationalen Austausch von Studierenden sowie Wissenschaftlerinnen und Wissenschaftlern. Neben der Vergabe von Stipendien fördert der DAAD u.a. auch die Internationalisierung der deutschen Hochschulen. Das DAAD-Förderprogramm „HAW.International“ wird seit dem Jahr 2019 angeboten und richtet sich ausschließlich an Hochschulen für Angewandte Wissenschaften (HAW). Im Rahmen des Programmes werden Studierende und Lehrende an HAW mit Individualstipendien gefördert sowie auch strukturbildende und Modell- und Kooperationsprojekte. Langfristig soll das Programm eine umfassende und nachhaltige Internationalisierung der HAW bewirken und ihre strategische Positionierung als innovatives Hochschulmodell für eine praxisorientierte akademische Ausbildung weltweit befördern.
In Vorbereitung einer weiteren Förderphase ab dem Jahr 2025 wurden mit der Ausblickstudie die bisherigen Ergebnisse der Förderung zusammengefasst und der weitere Unterstützungsbedarf an HAW zur Stärkung ihrer Internationalität und internationalen Sichtbarkeit untersucht.
Die Studie ist als monitoringbasierte Sekundärdatenuntersuchung angelegt worden und stützte sich bei der Analyse demnach maßgeblich auf die im DAAD verfügbaren qualitativen und quantitativen Monitoring Daten zum Programm. Des Weiteren wurden in methodischer Hinsicht auch qualitative Einzel- und Gruppeninterviews zum Einsatz gebracht. Die Ergebnisse sollen dem DAAD eine Grundlage für die Planung und Gestaltung der zweiten Programmgeneration von HAW.International bieten.
Evaluierung der Herausgabe des Mitteilungsblatts der Landeshauptstadt Saarbrücken
Die Landeshauptstadt Saarbrücken ist zur Publikation öffentlicher Bekanntmachungen durch Rechtsvorschrift verpflichtet. 2021 hat der Stadtrat der Landeshauptstadt Saarbrücken die Einführung des Mitteilungsblatts der Landeshauptstadt Saarbrücken beschlossen. Das Mitteilungsblatt enthält Informationen zu öffentlichen Bekanntmachungen und Ausschreibungen sowie weitere Informationen aus der Verwaltung. Verteilt wird das Mitteilungsblatt kostenfrei an alle erreichbaren Haushalte (ca. 90.000) im Stadtgebiet Saarbrücken.
Die Herausgabe des Mitteilungsblatts wurde zwei Jahre nach der Einführung evaluiert. Geprüft wurde u.a., wie bekannt das Mitteilungsblatt unter den Bürger:innen ist, ob das Mitteilungsblatt die Haushalte der Bürger:innen erreicht und auf welchem Wege (Print- oder Onlineausgabe) dies geschieht. Hierzu wurden ca. 800 im Stadtgebiet Saarbrücken lebende Bürger:innen über persönliche Kurzbefragungen in Fußgängerzonen und an anderen belebten Orten in verschiedenen Saarbrücker Stadtteilen befragt.
Rahmenvertrag zur Weiterentwicklung und Implementierung von Ansätzen der systematischen Wirkungserfassung mittels Monitoring und Evaluationen für DAAD-Programme (2023)
Der DAAD versteht sich als moderne Wissenschaftsorganisation, die durch kontinuierliches Lernen und die Bereitschaft zur Veränderung ihrer Arbeit bestrebt ist, deren Wirksamkeit kontinuierlich zu verbessern. Dieser Ansatz ist in dem 2019 verabschiedeten Integrierten Monitoring- und Evaluationskonzept des DAAD ausformuliert, in dem institutionelles Lernen, Qualitätssicherung, Wirkungsorientierung, Transparenz in Prozessen und Legitimation als wichtige Dimensionen benannt werden, auf die die verschiedenen Monitoring- und Evaluationsaktivitäten ausgerichtet sind. Aus übergeordneter Perspektive soll so auch die strategische Ausrichtung des DAAD und seiner Programme evidenzbasiert unterstützt werden.
Der Rahmenvertrag fokussiert auf die wirkungsorientierte Programmplanung, das wirkungsorientierte Monitoring und die Zielerreichung und damit auf Weiterentwicklungs- und Lernprozesse sowie auf die Berichtspflichten im Rahmen der Erfolgskontrolle. Er nimmt weitergehend aber auch die effektive und effiziente Nutzung der durch das WoM generierten Datenbasis im Rahmen monitoringbasierter Analysen und Evaluationen in den Blick und kann so maßgeblich zur Stärkung und Erhöhung des Nutzens des WoM beitragen.
Hierfür werden Leistungen in folgenden Aufgabenbereichen erbracht:
– Entwicklung von Wirkungsgefügen und Indikatorenkatalogen
– Entwicklung programmspezifischer Monitoring-Instrumente und Überarbeitung der programmsteuernden Dokumente entsprechend der Anforderungen des Monitoring-Konzepts
– Datenaufbereitung und -analyse
– Durchführung von Mointoring-basierten Analysen und Evaluationen
– Begleitung von Monitoring-Besuchen bei Projektnehmern
– Interne und externe Workshops zur Umsetzung des Wirkungsorientierten Monitorings (WoM)
– Beratung zu weiterführenden Ansätzen und Methoden im Bereich Monitoring und Evaluation
– Zusätzliche Beratungs- und Schulungsleistungen
Unterstützung der Evaluation des Azubi Kollegs Lübeck
Das Azubi Kolleg Lübeck ist ein Programm der Joachim Herz Stiftung und der Lübecker Possehl-Stiftung, welches 25 talentierte und motivierte Lübecker Auszubildende über zwei Jahre in ihrer Persönlichkeitsbildung unterstützt und soziale Kompetenzen fördert. Durch Seminare, Workshops und Trainings in zwei Blockveranstaltungen pro Jahr sollen die Azubis dazu befähigt werden, ihre Stärken und Potenziale zu erkennen und zu entfalten und u.a. ihr Selbstbewusstsein, ihr Verantwortungsbewusstsein und ihr gesellschaftliches Engagement zu steigern. In den Blockveranstaltungen werden Fortbildungen in drei großen Themenblöcken angeboten: a) Kommunikation, b) Gesellschaft/ Politik/ Wirtschaft und c) kulturelle Bildung. Weitere Ziele des Programmes stellen der Austausch zwischen den Azubis, der gemeinsame Lernprozess und der Aufbau eines Netzwerkes dar. Langfristig soll das Programm einen Beitrag zur Persönlichkeitsbildung und beruflichen Etablierung der Azubis sowie zur Erhöhung der Attraktivität der beruflichen Ausbildung in Lübecker KMU leisten. Zudem soll es der Begabungsförderung für Auszubildende zu einer größeren gesellschaftlichen Präsenz verhelfen und insgesamt zur Persönlichkeitsbildung von Jugendlichen und jungen Erwachsenen beitragen. Als Pilotprojekt ist das Azubi Kolleg auf fünf Jahre angelegt.
Im Jahr 2023 war die CEval GmbH erneut damit beauftragt worden, die Evaluation des Programms zu unterstützen. Auf Basis des bereits im Vorgängerprojekt erarbeiteten Wirkungsgefüges und Indikatorenkataloges wurden 2023 nun zum einen die Baseline-Daten der 2. Kohorte in einer vergleichenden Analyse mit den Daten der 1. Kohorte verglichen. Zum anderen wurden im Sinne einer Wirkungserfassung erneut Online-Befragungen unter Azubis, Lehrer:innen, Betreuer:innen als auch Fokusgruppeninterviews mit Azubis und Leitfadeninterviews mit Lehrer:innen und Betreuer:innen zum Programmende als Basis für einen Vorher-Nachher-Vergleich durchgeführt.
