Begleitende Evaluation, Capacity Development, Entwicklung M&E-System
Projektstart: April 2023
Projektende: April 2027
Rahmenvertrag zur Weiterentwicklung und Implementierung von Ansätzen der systematischen Wirkungserfassung mittels Monitoring und Evaluationen für DAAD-Programme (2023)
[Mehr anzeigen]Der DAAD versteht sich als moderne Wissenschaftsorganisation, die durch kontinuierliches Lernen und die Bereitschaft zur Veränderung ihrer Arbeit bestrebt ist, deren Wirksamkeit kontinuierlich zu verbessern. Dieser Ansatz ist in dem 2019 verabschiedeten Integrierten Monitoring- und Evaluationskonzept des DAAD ausformuliert, in dem institutionelles Lernen, Qualitätssicherung, Wirkungsorientierung, Transparenz in Prozessen und Legitimation als wichtige Dimensionen benannt werden, auf die die verschiedenen Monitoring- und Evaluationsaktivitäten ausgerichtet sind. Aus übergeordneter Perspektive soll so auch die strategische Ausrichtung des DAAD und seiner Programme evidenzbasiert unterstützt werden.
Der Rahmenvertrag fokussiert auf die wirkungsorientierte Programmplanung, das wirkungsorientierte Monitoring und die Zielerreichung und damit auf Weiterentwicklungs- und Lernprozesse sowie auf die Berichtspflichten im Rahmen der Erfolgskontrolle. Er nimmt weitergehend aber auch die effektive und effiziente Nutzung der durch das WoM generierten Datenbasis im Rahmen monitoringbasierter Analysen und Evaluationen in den Blick und kann so maßgeblich zur Stärkung und Erhöhung des Nutzens des WoM beitragen.
Hierfür werden Leistungen in folgenden Aufgabenbereichen erbracht:
- Entwicklung von Wirkungsgefügen und Indikatorenkatalogen
- Entwicklung programmspezifischer Monitoring-Instrumente und Überarbeitung der programmsteuernden Dokumente entsprechend der Anforderungen des Monitoring-Konzepts
- Datenaufbereitung und -analyse
- Durchführung von Mointoring-basierten Analysen und Evaluationen
- Begleitung von Monitoring-Besuchen bei Projektnehmern
- Interne und externe Workshops zur Umsetzung des Wirkungsorientierten Monitorings (WoM)
- Beratung zu weiterführenden Ansätzen und Methoden im Bereich Monitoring und Evaluation
- Zusätzliche Beratungs- und Schulungsleistungen
Management: Vera Hennefeld | Mitarbeiter:innen: Sandra Bäthge, Laszlo Szentmarjay | Kooperationspartner: uzbonn GmbHAuftraggeber: Deutscher Akademischer Austauschdienst
Projektstart: Mai 2020
Projektende: Mai 2026
Rahmenvertrag zur Weiterentwicklung und Implementierung von Ansätzen der systematischen Wirkungserfassung mittels Monitoring und Evaluationen für DAAD-Programme (2020)
[Mehr anzeigen]Der DAAD versteht sich als moderne Wissenschaftsorganisation, die durch kontinuierliches Lernen und die Bereitschaft zur Veränderung ihrer Arbeit bestrebt ist, deren Wirksamkeit kontinuierlich zu verbessern. Dieser Ansatz ist in dem 2019 verabschiedeten Integrierten Monitoring- und Evaluationskonzept des DAAD ausformuliert, in dem institutionelles Lernen, Qualitätssicherung, Wirkungsorientierung, Transparenz in Prozessen und Legitimation als wichtige Dimensionen benannt werden, auf die die verschiedenen Monitoring- und Evaluationsaktivitäten ausgerichtet sind. Aus übergeordneter Perspektive soll so auch die strategische Ausrichtung des DAAD und seiner Programme evidenzbasiert unterstützt werden.
Der Rahmenvertrag mit der CEval GmbH zielt darauf ab, den steigenden Ansprüchen an Wirkungsorientierung und -kontrolle in den verschiedenen Förderbereichen des DAAD noch besser gerecht zu werden, indem die Umsetzung der Wirkungsorientierung und -kontrolle für bestehende und neue Programme in den AA- und BMBF-Förderbereichen unterstützt und die Wirkungsorientierung neu konzipierter BMZ-Programme begleitet werden. Hierfür werden Leistungen in folgenden Aufgabenbereichen erbracht:
Entwicklung von Wirkungsgefügen und Indikatorenkatalogen
(Weiter-)Entwicklung programmspezifischer Monitoring-Instrumente und Überarbeitung der programmsteuernden Dokumente entsprechend der Anforderungen des Monitoring-Konzepts
Datenaufbereitung und -analyse
Capacity Development: interne und externe Workshops zur Umsetzung des Wirkungsorientierten Monitorings (WoM)
Methodische und/oder vor-Ort-Begleitung im Rahmen von Monitoring-Besuchen bei Projektnehmern
Beratung zu weiterführenden Ansätzen und Methoden im Bereich Monitoring und Evaluation
Zusätzliche Beratungs- und Schulungsleistungen
Management: Vera Hennefeld | Mitarbeiter:innen: Sandra Bäthge, Laszlo Szentmarjay | Kooperationspartner: uzbonn GmbHAuftraggeber: Deutscher Akademischer Austauschdienst
Begleitende Evaluation
Projektstart: Oktober 2022
Projektende: Juni 2025
Datenerhebung zur Vergabe des Qualitätssiegels „Fanprojekt nach dem Nationalen Konzept Sport und Sicherheit“
[Mehr anzeigen]In Deutschland existiert ein dichtes Netzwerk von Einrichtungen der sozialen Arbeit mit jugendlichen Fußballfans, die nach den Rahmenbedingungen und Vorgaben des Nationalen Konzepts Sport und Sicherheit (NKSS) arbeiten. Das "Qualitätssiegel nach dem Nationalen Konzept Sport und Sicherheit" wurde im Jahr 2010 mit dem Ziel eingeführt, diesen sozialpädagogisch arbeitenden Fußballfanprojekten in Deutschland ein Instrument der Qualitätssicherung an die Hand zu geben, um gemeinsame Standards und mehr Handlungssicherheit herbeizuführen und die strukturellen Rahmenbedingungen der sozialpädagogisch arbeitenden Fußballfanprojekte zu verbessern. Das Qualitätssiegel wird auf Basis einer Empfehlung der AG Qualitätssicherung, welche durch die Koordinationsstelle Fanprojekte bei der Deutschen Sportjugend (KOS) koordiniert wird, durch den Beirat der KOS vergeben. In der AG Qualitätssicherung sind Vertreter aus dem Fußball, der obersten Landes- und Familienbehörden, der Wissenschaft und der Fanprojekte selbst vertreten. Nachdem in zwei Vorgängerprojekten bereits das Qualitätssiegel von der CEval GmbH überarbeitet, modellhaft getestet und im Anschluss die bundesweite Ausrollung durch die Erhebung der für die Vergabe notwendigen Informationen in allen Fanprojekten durchgeführt wurde, wurde die CEval GmbH nun mit den Datenerhebungen der dritten Phase zur Siegelvergabe für die aktuell 71 Fanprojekte beauftragt.
Management: Vera Hennefeld | Mitarbeiter:innen: Katharina Hary, Sandra BäthgeBegleitende Evaluation, Wirkungsevaluation
Projektstart: September 2022
Projektende: September 2023
Evaluation Dozenturen
[Mehr anzeigen]Der DAAD als weltweit größte Förderorganisation für den Austausch von Studierenden und Wissenschaftler:innen fördert mit den Programmen der Auslandsdozenturen den Lehraufenthalt von Wissenschaftler:innen an Hochschulen im Ausland. Mit den Dozenturen im Ausland verfolgt der DAAD außenkulturpolitische, entwicklungspolitische, hochschulpolitische und/oder programmpolitische Ziele. Je nach Gastland, gastgebender Institution und Zuschnitt der Dozentur weisen diese unterschiedliche Schwerpunkte in ihren Zielsetzungen auf.
Gegenstand der Evaluation sind die Langzeit-, Kurzzeit- und Herder-Dozenturen im Betrachtungszeitraum 2012 bis 2022. Die Evaluation verfolgt drei zentrale Zielsetzungen: Überprüfung, ob die Programme in ihrer aktuellen Ausgestaltung zeitgemäß und bedarfsorientiert sind, Unterstützung der Rechenschaftslegung des DAAD gegenüber Auswärtigem Amt sowie Unterstützung der strategischen Positionierung der Programme durch Weiterentwicklung. In methodischer Hinsicht wird ein Mix aus qualitativen und quantitativen Erhebungs- und Auswertungsmethoden miteinander kombiniert. Unter anderem werden eine umfassende Dokumenten- und Sekundärdatenanalyse, virtuelle Standortbegehungen, Leitfadeninterviews, Gruppendiskussionen sowie Online-Befragungen realisiert.
Management: Vera Hennefeld | Mitarbeiter:innen: Sandra Bäthge | Kooperationspartner: uzbonn GmbHAuftraggeber: Deutscher Akademischer Austauschdienst
Begleitende Evaluation, Wirkungsevaluation
Projektstart: April 2022
Projektende: August 2023
Entwicklungen des Fairen Handels und der Fairen Beschaffung in Deutschland 2015-2022. Aktualisierte Fassung der Studie ‚Verändert der Faire Handel die Gesellschaft?‘
[Mehr anzeigen]Im Jahr 2015 beauftragten tragende Akteure der Fair-Handels-Bewegung in Deutschland eine Studie zu den Wirkungen des Fairen Handels in Deutschland, welche von der CEval GmbH durchgeführt wurde. Dabei wurden die Wirkungen des Fairen Handels und der zivilgesellschaftlichen Fair-Handels-Bewegung in vier gesellschaftlichen Bereichen untersucht: Zivilgesellschaft, Konsument:innen, Handel und Hersteller sowie Politik und öffentlicher Sektor. Seit 2015 hat sich nicht nur der Faire Handel selbst weiterentwickelt, sondern auch die Rahmenbedingungen, in denen er agiert. Hierzu zählen insbesondere auch die Rahmenbedingungen für eine faire öffentliche Beschaffung.
Vor diesem Hintergrund haben Fairtrade Deutschland und Engagement Global Service für Entwicklungsinitiativen gGmbH mit der Servicestelle Kommunen in der Einen Welt und in Kooperation mit dem Forum Fairer Handel und dem Weltladen-Dachverband die CEval GmbH mit der Durchführung einer aktualisierten und erweiterten Fassung der 2015er Studie beauftragt. Ziel war es, die Wirkungen des Fairen Handels in Deutschland zwischen 2016 und 2022 unter den veränderten Rahmenbedingungen zu untersuchen und dabei auch die gewachsene Rolle der Kommunen für Fairen Handel und faire Beschaffung zu berücksichtigen. Aufbauend auf den Erkenntnissen der Studie wurden Empfehlungen dafür abgeleitet, wie das Engagement im Fairen Handel und bezüglich der fairen öffentlichen Beschaffung noch wirksamer gestaltet werden kann.
In methodischer Hinsicht knüpfte die Studie an die Herangehensweise der Vorgängerstudie an und wählte einen qualitativen kontributionsanalytischen Ansatz. Ausgehend von einer sogenannten Theorie des Wandels fand eine hypothesengeleitete Untersuchung der vom Fairen Handel angestrebten Veränderungen in den jeweiligen Untersuchungsbereichen sowie eine Analyse des Beitrags der Fair-Handels-Bewegung zu diesen Veränderungen statt. Hierbei kam ein Mix qualitativer und quantitativer Erhebungs- und Auswertungsmethoden zum Einsatz. Den Ausgangspunkt bildet eine umfassende Analyse bestehende Literatur und Sekundärdaten, welche durch die Erhebung empirischer Daten mittels leitfadengestützter Expert:inneninterviews, (Fokus-)Gruppendiskussionen und einer teilstandardisierten Erhebung ergänzt wurde.
Management: Sandra Bäthge | Mitarbeiter:innen: Stefan Silvestrini, Maja Flaig, Katharina HaryEx-Post und Schlussevaluation
Projektstart: November 2022
Projektende: Juni 2023
Evaluation des „Deutsch-Kolumbianischen Friedensinstituts/ Instituto Colombo-Alemán para la Paz (Instituto CAPAZ)“
[Mehr anzeigen]Das Deutsch-Kolumbianische Friedensinstitut (CAPAZ) ist eines von fünf Exzellenzzentren für Forschung und Lehre im Ausland, welches seit Oktober 2016 aus Mitteln des Auswärtigen Amtes gefördert wird. Das Institut versteht sich als akademische Kooperationsplattform, die den Wissens- und Erfahrungsaustausch zwischen Institutionen aus Forschung und Lehre, Zivilgesellschaft und Staat im Bereich der Friedensforschung fördert und auf diese Weise zum Aufbau einer nachhaltigen Friedensordnung in Kolumbien beitragen will. Die Tätigkeitsfelder des Instituts umfassen die Bereiche Lehre, Forschung, Politikberatung und Wissenstransfer.
Mit Blick auf das Ende der aktuell geförderten Institutionalisierungsphase des Instituts sowie auf eine angestrebte weitere Förderphase, hat der Deutsche Akademische Austauschdienst (DAAD) die CEval GmbH mit einer Evaluation des Instituto CAPAZ beauftragt. Ziel der Evaluation ist es, eine Projektfortschritts- und Erfolgskontrolle des Projekts zu realisieren und auf dieser Basis Vorschläge zur Optimierung des Projekts sowie zur Weiterentwicklung der Förderung zu entwickeln. Hierbei orientiert sich die Evaluation an den Kriterien der Relevanz, Effektivität (Zielerreichung und Wirkung), Effizienz, Nachhaltigkeit sowie Koordination, Komplementarität und Kohärenz.
Der gewählte Evaluationsansatz ist theoriebasiert und partizipativ und kombiniert in methodischer Hinsicht einen Mix aus verschiedenen vornehmlich qualitativen Erhebungs- und Auswertungsmethoden. Unter anderem werden eine Dokumenten- und Sekundärdatenanalyse, explorative Einzel- bzw. Gruppeninterviews sowie vertiefende, leitfadengestützte Einzelinterviews und Fokusgruppendiskussionen realisiert.
Management: Sandra Bäthge | Mitarbeiter:innen: Vera HennefeldAuftraggeber: Deutscher Akademischer Austauschdienst
Ex-Post und Schlussevaluation
Projektstart: März 2022
Projektende: März 2023
Evaluation des Deutsch-Argentinischen Hochschulzentrums (DAHZ-CUAA)
[Mehr anzeigen]Das Deutsch-Argentinische Hochschulzentrum (DAHZ-CUAA) ist ein binationales Hochschulzentrum und zielt darauf ab, die institutionelle, akademische und wissenschaftliche Zusammenarbeit zwischen Argentinien und Deutschland zu stärken und zu fördern. Das Hauptziel ist, innovative Studienprogramme in Gestalt von binationalen Studiengängen mit Doppelabschluss zu generieren. Um diese Zielsetzung zu erreichen, werden Hochschulen beider Länder in drei Programmlinien gefördert: dem deutsch-argentinischen Programm zur Förderung binationaler Studiengänge mit Doppelabschluss" (Hauptförderprogramm), dem I.DEAR-Programm (Ingenieure Deutschland-Argentina) und dem Programm zur Förderung begleitender Forschungsmaßnahmen.
Um Erkenntnisse über die bisherigen Fortschritte, Erfolge und Optimierungspotenziale der Programme zu erlangen und auf dieser Basis die zukünftigen Programme des DAHZ-CUAA weiterzuentwickeln und noch wirksamer gestalten zu können, hat die deutsche Geschäftsstelle des DAHZ im DAAD die CEval GmbH in Kooperation mit smep consult e.U. mit einer Evaluation des DAHZ-CUAA beauftragt. Aufgabe der Evaluation ist es, die Relevanz, Effektivität (Zielerreichung und Wirkung), Effizienz/Wirtschaftlichkeit sowie Nachhaltigkeit des DAHZ und seiner Programme zu beurteilen und Empfehlungen zur Weiterentwicklung und ggf. Verbesserung der Programme und zukünftigen Programmgestaltung abzuleiten.
In methodischer Hinsicht wird bei der Evaluation des DAHZ ein Mix aus qualitativen und quantitativen Erhebungs- und Auswertungsmethoden miteinander kombiniert. Unter anderem werden eine Dokumenten- und Sekundärdatenanalyse, Standortbegehungen in Deutschland und Argentinien, Leitfadeninterviews, Gruppendiskussionen sowie Online-Befragungen realisiert.
Management: Sandra Bäthge | Mitarbeiter:innen: Vera Hennefeld | Kooperationspartner: smep consultAuftraggeber: Deutscher Akademischer Austauschdienst
Instrumentenevaluation
Projektstart: November 2022
Projektende: Dezember 2022
Messung der Kundenzufriedenheit bei AIZ-Dienstleistungen für GIZ-Vorhaben, Folgeerhebung 2022
[Mehr anzeigen]Um eine stetige Qualitätssicherung ihrer Dienstleistungen zu gewährleisten, hat die Akademie für Internationale Zusammenarbeit (AIZ) die CEval GmbH beauftragt, die Erhebungswelle 2022 Ihrer Kundenzufriedenheitsbefragung durchzuführen. Ziel ist es, die Zufriedenheit der GIZ-internen Kund:innen mit den Dienstleistungen der AIZ im Bereich der beruflichen Bildung sowie ggf. Optimierungspotenziale zu ermitteln.
Zu diesem Zweck werden GIZ-interne Kund:innen im Rahmen einer teilstandardisierten Telefonbefragung zu den Bereichen Kommunikation, Beratung und Dienstleistung, Arbeitsweise und Entwicklungsorientierung befragt. Basierend auf den Befunden werden sowohl Stärken als auch Schwächen der von der AIZ durchgeführten Maßnahmen sowie daraus resultierende Verbesserungspotenziale identifiziert.
Management: Sandra Bäthge | Mitarbeiter:innen: Vanessa KriegerAuftraggeber: Akademie für Internationale Zusammenarbeit
Begleitende Evaluation
Projektstart: November 2021
Projektende: April 2022
Alumni-Befragung der European School of Materials (EUSMAT)
[Mehr anzeigen]Die European School of Materials (EUSMAT) der Universität des Saarlandes bietet verschiedene internationale Studiengänge auf Bachelor-, Master- und Doktorandenniveau an. Um mit den Alumni dieser Studienangebote in Kontakt zu bleiben, engagiert sich EUSMAT zunehmend im Bereich der Alumni-Arbeit.
Zur Überprüfung der Passgenauigkeit der bisherigen Alumni-Aktivitäten sowie zur Identifikation der Erwartungen und Bedarfe der Alumni in diesem Bereich, hat EUSMAT die CEval GmbH mit der Konzeption und Durchführung einer Alumni-Befragung beauftragt. Ziel ist es, eine Datenbasis für den weiteren Ausbau und die Optimierung der Alumni-Arbeit von EUSMAT zu schaffen.
In methodischer Hinsicht werden hierfür eine teilstandardisierte Befragung sowie Fokusgruppendiskussionen unter EUSMAT-Alumni konzipiert und durchgeführt.
Management: Sandra Bäthge | Mitarbeiter:innen: Katharina HaryAuftraggeber: European School of Materials
Ex-Post und Schlussevaluation, Meta-Evaluation
Projektstart: November 2020
Projektende: November 2021
Synthese und Meta-Evaluation zu den Projekt- und Programm-Evaluationen der Zentren für Deutschland- und Europastudien (ZDES)
[Mehr anzeigen]Mit dem übergeordneten Ziel, in Deutschland, Europa und weltweit einen Beitrag zu einer Internationalisierung des Wissenschafts- und Innovationssystems zu leisten und den Hochschul- und Forschungsraum in Bezug auf Deutschland- und Europathemen mitzugestalten, fördert der DAAD interdisziplinäre Zentren für Deutschland- und Europastudien (ZDES) an Hochschulen im Ausland. Die Zentren bilden bspw. über gezielte Studienangebote Deutschland- und Europaexperten aus und treten mit Wissenschaft, Politik und interessierter Öffentlichkeit in einen Austausch zu deutschland- und europabezogenen Themen.
Um die Wirksamkeit seiner Arbeit fortlaufend zu verbessern, hat der DAAD die CEval GmbH mit der Durchführung einer Meta-Evaluations- und Synthesestudie in Bezug auf die ZDES beauftragt. Gegenstand der Studie waren die in den Jahren 2015-2020 erstellten Projekt- und Programmevalu-ationen zu den Zentren für Deutschland und Europastudien. Der Auftrag beinhaltete die kriteriengeleitete Synthese der Erkenntnisse aus den Evaluationsberichten sowie die Beurteilung der Qualität der Evaluationen selbst (Meta-Evaluation). Ziel der Untersuchung war u.a., aus einer übergeordneten Perspektive die Zielerreichung und Wirksamkeit der Zentrenförderung zu beurteilen, Optimierungspotenziale zu identifizieren und Empfehlungen für die künftige ZDES-Förderung sowie mit Blick auf künftige ZDES-Evaluationen zu entwickeln.
Methodisch basierte die Untersuchung auf einer Desk Study. Für die Meta-Evaluation wurde eine Meta-Bewertungsmatrix als primäres Datenerhebungsinstrument entwickelt. Auf dieser Grundlage wurden die Evaluationsberichte anhand des in der Matrix definierten Sets von Qualitätsbewertungskriterien und in Bezug auf sechs Analysedimensionen systematisch analysiert und bewertet. Gleichsam wurde für die Synthese ein Analyseraster und hierauf aufbauend ein Kodierschema entwickelt, mithilfe dessen eine qualitative Inhaltsanalyse der vorliegenden Evaluationsberichte umgesetzt und eine Synthese der Erkenntnisse vorgenommen wurde.
Management: Vera Hennefeld | Mitarbeiter:innen: Sandra BäthgeAuftraggeber: Deutscher Akademischer Austauschdienst
