Begleitende Evaluation, Ex-Post und Schlussevaluation
Projektstart: Mai 2023
Projektende: November 2024
Begleitende Evaluation des Karriereförderprogramms „Talente sichern – Zukunft gestalten“ (2023/2024)
[Mehr anzeigen]Das Programm "Talente sichern - Zukunft gestalten" des Cusanuswerks - Bischöfliche Studienförderung zielt auf die Förderung des weiblichen Führungsnachwuchses. Hierzu setzt das Programm auf Mentoringelemente, also eine tutorielle Betreuung von Stipendiat:innen deutscher Begabtenförderungswerke durch berufserfahrene Akademiker:innen, auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks. Seit Beginn des Karriereförderprogramms im Jahr 2007 führt das CEval zur Qualitätssicherung prozessbegleitende, externe Evaluationen durch. Auch im Programmdurchlauf 2023/2024 findet eine begleitende Evaluation statt. Zentrale Aufgabe dieser Evaluation ist es, den durchführungsverantwortlichen Mitarbeiter:innen des Cusanuswerks steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse sind entsprechend der Zielsetzungen des Programms Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen, zur Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten. Methodisch stützt sich die Evaluation auf onlinebasierte, standardisierte Baseline- und Abschlussbefragungen der Mentees und Mentor:innen.
Management: Vera HennefeldAuftraggeber: Cusanuswerk – Bischöfliche Studienförderung
Begleitende Evaluation, Wirkungsevaluation
Projektstart: April 2023
Projektende: September 2023
Ausblickstudie zum DAAD-Programm „HAW.International“
[Mehr anzeigen]Der Deutsche Akademische Austauschdienst e. V. (DAAD) ist die weltweit größte Förderorganisation für den internationalen Austausch von Studierenden sowie Wissenschaftlerinnen und Wissenschaftlern. Neben der Vergabe von Stipendien fördert der DAAD die Internationalisierung der deutschen Hochschulen, stärkt die Germanistik und die deutsche Sprache im Ausland, unterstützt Entwicklungsländer beim Aufbau leistungsfähiger Hochschulen und berät Entscheider in der Kultur-, Bildungs- und Entwicklungspolitik.
Das DAAD-Förderprogramm „HAW.International“ wird seit dem Jahr 2019 angeboten und richtet sich ausschließlich an Hochschulen für Angewandte Wissenschaften (HAW). Im Rahmen des Programmes werden Studierende und Lehrende an HAW mit Individualstipendien gefördert sowie auch strukturbildende und Modell- und Kooperationsprojekte. Langfristig soll das Programm eine umfassende und nachhaltige Internationalisierung der HAW bewirken und ihre strategische Positionierung als innovatives Hochschulmodell für eine praxisorientierte akademische Ausbildung weltweit befördern. Mit dem Programm soll die Internationalisierung aller HAW in der Breite und strukturell gefördert werden. Dies bedeutet auch, dass der Internationalisierungsprozess auf allen Hochschulebenen und über alle Personengruppen hinweg (Studierende, Lehrende, Forschende und auch Verwaltungspersonal und Hochschulleitungen) strategisch verankert und nachhaltig umgesetzt werden soll. Zu diesem Zweck bietet „HAW.International“ vier thematische Fördermodule, die von den Hochschulen und Studierenden einzeln oder komplementär genutzt werden können.
In Vorbereitung einer weiteren Förderphase ab dem Jahr 2025 sollen mit der Ausblickstudie die bisherigen Ergebnisse der Förderung zusammengefasst und der weitere Unterstützungsbedarf an HAW zur Stärkung ihrer Internationalität und internationalen Sichtbarkeit untersucht werden. Der Schwerpunkt der Studie liegt auf der Herausarbeitung von Erfolgsfaktoren, Hürden und zukünftigen Bedarfen. Die Ergebnisse sollen dem DAAD eine Grundlage für die Planung und Gestaltung der zweiten Programmgeneration von HAW.International bieten.
In methodischer Hinsicht erfolgt zunächst die Auswertung von Monitoring-Daten. Die so gewonnenen Erkenntnisse werden im weiteren Verlauf der Studie um qualitative Daten aus Einzel- und Gruppeninterviews mit Programmbeteiligten ergänzt werden.
Management: Vera Hennefeld | Kooperationspartner: uzbonn GmbHAuftraggeber: Deutscher Akademischer Austauschdienst
Begleitende Evaluation, Capacity Development, Entwicklung M&E-System
Projektstart: April 2023
Projektende: April 2027
Rahmenvertrag zur Weiterentwicklung und Implementierung von Ansätzen der systematischen Wirkungserfassung mittels Monitoring und Evaluationen für DAAD-Programme (2023)
[Mehr anzeigen]Der DAAD versteht sich als moderne Wissenschaftsorganisation, die durch kontinuierliches Lernen und die Bereitschaft zur Veränderung ihrer Arbeit bestrebt ist, deren Wirksamkeit kontinuierlich zu verbessern. Dieser Ansatz ist in dem 2019 verabschiedeten Integrierten Monitoring- und Evaluationskonzept des DAAD ausformuliert, in dem institutionelles Lernen, Qualitätssicherung, Wirkungsorientierung, Transparenz in Prozessen und Legitimation als wichtige Dimensionen benannt werden, auf die die verschiedenen Monitoring- und Evaluationsaktivitäten ausgerichtet sind. Aus übergeordneter Perspektive soll so auch die strategische Ausrichtung des DAAD und seiner Programme evidenzbasiert unterstützt werden.
Der Rahmenvertrag fokussiert auf die wirkungsorientierte Programmplanung, das wirkungsorientierte Monitoring und die Zielerreichung und damit auf Weiterentwicklungs- und Lernprozesse sowie auf die Berichtspflichten im Rahmen der Erfolgskontrolle. Er nimmt weitergehend aber auch die effektive und effiziente Nutzung der durch das WoM generierten Datenbasis im Rahmen monitoringbasierter Analysen und Evaluationen in den Blick und kann so maßgeblich zur Stärkung und Erhöhung des Nutzens des WoM beitragen.
Hierfür werden Leistungen in folgenden Aufgabenbereichen erbracht:
- Entwicklung von Wirkungsgefügen und Indikatorenkatalogen
- Entwicklung programmspezifischer Monitoring-Instrumente und Überarbeitung der programmsteuernden Dokumente entsprechend der Anforderungen des Monitoring-Konzepts
- Datenaufbereitung und -analyse
- Durchführung von Mointoring-basierten Analysen und Evaluationen
- Begleitung von Monitoring-Besuchen bei Projektnehmern
- Interne und externe Workshops zur Umsetzung des Wirkungsorientierten Monitorings (WoM)
- Beratung zu weiterführenden Ansätzen und Methoden im Bereich Monitoring und Evaluation
- Zusätzliche Beratungs- und Schulungsleistungen
Management: Vera Hennefeld | Mitarbeiter:innen: Sandra Bäthge, Laszlo Szentmarjay | Kooperationspartner: uzbonn GmbHAuftraggeber: Deutscher Akademischer Austauschdienst
Begleitende Evaluation
Projektstart: März 2023
Projektende: September 2023
Evaluierung der Herausgabe des Mitteilungsblatts der Landeshauptstadt Saarbrücken
[Mehr anzeigen]Die Landeshauptstadt Saarbrücken ist zur Publikation öffentlicher Bekanntmachungen durch Rechtsvorschrift verpflichtet. 2021 hat der Stadtrat der Landeshauptstadt Saarbrücken die Einführung des Mitteilungsblatts der Landeshauptstadt Saarbrücken beschlossen. Das Mitteilungsblatt enthält Informationen zu öffentlichen Bekanntmachungen und Ausschreibungen sowie weitere Informationen aus der Verwaltung. Verteilt wird das Mitteilungsblatt kostenfrei an alle erreichbaren Haushalte (ca. 90.000) im Stadtgebiet Saarbrücken.
Die Herausgabe des Mitteilungsblatts wird zwei Jahre nach der Einführung evaluiert. Geprüft wird u.a., wie bekannt das Mitteilungsblatt unter den Bürger:innen ist, ob das Mitteilungsblatt die Haushalte der Bürger:innen erreicht und auf welchem Wege (Print- oder Onlineausgabe) dies geschieht. Hierzu werden ca. 800 im Stadtgebiet Saarbrücken lebende Bürger:innen über persönliche Kurzbefragungen in Fußgängerzonen und an anderen belebten Orten in verschiedenen Saarbrücker Stadtteilen befragt.
Management: Vera Hennefeld | Mitarbeiter:innen: Katharina HaryAuftraggeber: Landeshauptstadt Saarbrücken
Begleitende Evaluation, Ex-Post und Schlussevaluation
Projektstart: Februar 2023
Projektende: September 2023
Begleitende Evaluation des Förderprojektes “Female Producer Collective“ (2023)
[Mehr anzeigen]Das Förderprogramm „Female Producer Collective“ der GOFORMUSIC gGmbH ist ein spezielles Förderprojekt für Produzentinnen, die Coachings in den Bereichen „Kreativität und Ideenfindung“, „Recording & Sound Design“, „Mixing & Mastering“ und „Business & Marketing“ erhalten. Ziel des Projektes ist es, gezielt Produzentinnen zu fördern, der geringen Frauenquote im Produktionsbereich entgegenzuwirken und Musikerinnen für das Produzieren zu begeistern. Die CEval GmbH wurde bereits in der ersten Förderrunde (2022) mit der begleitenden Evaluation des Förderprojektes beauftragt. 2023 startet das Förderprogramm „Female Producer Collective“ mit einer zweiten Förderrunde, wobei die CEval GmbH erneut eine begleitende Evaluation durchführen wird. In methodischer Hinsicht werden sowohl Fokusgruppeninterviews mit Teilnehmenden und Coaches des Programmes als auch eine Online-Befragung über einen standardisierten Fragebogen durchgeführt.
Management: Vera Hennefeld | Mitarbeiter:innen: Katharina HaryAuftraggeber: GOFORMUSIC
Begleitende Evaluation, Ex-Post und Schlussevaluation
Projektstart: Januar 2023
Projektende: April 2023
Unterstützung der Evaluation des Azubi Kollegs Lübeck
[Mehr anzeigen]Das Azubi Kolleg Lübeck ist ein Programm der Joachim Herz Stiftung und der Lübecker Possehl-Stiftung, welches 25 talentierte und motivierte Lübecker Auszubildende über zwei Jahre in ihrer Persönlichkeitsbildung unterstützt und soziale Kompetenzen fördert. Durch Seminare, Workshops und Trainings in zwei Blockveranstaltungen pro Jahr sollen die Azubis dazu befähigt werden, ihre Stärken und Potenziale zu erkennen und zu entfalten und u.a. ihr Selbstbewusstsein, ihr Verantwortungsbewusstsein und ihr gesellschaftliches Engagement zu steigern. In den Blockveranstaltungen werden Fortbildungen in drei großen Themenblöcken angeboten: a) Kommunikation, b) Gesellschaft/ Politik/ Wirtschaft und c) kulturelle Bildung. Weitere Ziele des Programmes stellen der Austausch zwischen den Azubis, der gemeinsame Lernprozess und der Aufbau eines Netzwerkes dar. Langfristig soll das Programm einen Beitrag zur Persönlichkeitsbildung und beruflichen Etablierung der Azubis sowie zur Erhöhung der Attraktivität der beruflichen Ausbildung in Lübecker KMU leisten. Zudem soll es der Begabungsförderung für Auszubildende zu einer größeren gesellschaftlichen Präsenz verhelfen und insgesamt zur Persönlichkeitsbildung von Jugendlichen und jungen Erwachsenen beitragen. Als Pilotprojekt ist das Azubi Kolleg auf fünf Jahre angelegt.
Im Jahr 2023 wurde die CEval GmbH erneut damit beauftragt, die Evaluation des Programms zu unterstützen. Auf Basis des bereits im Vorgängerprojekt erarbeiteten Wirkungsgefüges und Indikatorenkataloges werden 2023 nun zum einen die Baseline-Daten der 2. Kohorte einer vergleichenden Analyse mit den Daten der 1. Kohorte unterzogen Zum anderen sind im Sinne einer Wirkungserfassung erneut Online-Befragungen unter Azubis, Lehrer:innen, Betreuer:innen als auch Fokusgruppeninterviews mit Azubis und Leitfadeninterviews mit Lehrer:innen und Betreuer:innen zum Programmende als Basis für einen Vorher-nachher-Vergleich vorgesehen.
Management: Vera Hennefeld | Mitarbeiter:innen: Katharina HaryAuftraggeber: Joachim Herz Stiftung
Wirkungsevaluation
Projektstart: Dezember 2022
Projektende: April 2025
Unterstützung des BfN bei der Evaluierung durch den Wissenschaftsrat (WR) 2023/2024
[Mehr anzeigen]Als Ressortforschungseinrichtung des Bundes wird das Bundesamt für Naturschutz (BfN) in regelmäßigen Abständen durch externe Expert:innen evaluiert. Nach der ersten externen Evaluation durch den Wissenschaftsrat (WR) im Jahr 2007 und der zweiten Evaluation 2015 steht nun 2024 die dritte Evaluierung an. Ziel des Vorhabens ist die Unterstützung des BfN bei der konzeptionellen Vor- und Nachbereitung des anstehenden Evaluierungsprozesses durch externe, wissenschaftliche Expertise.
Dabei werden folgende Kernaufgaben erfüllt:
- Unterstützung bei der Sammlung, Auswertung und Aufbereitung von Daten und Informationen, die zur Beantwortung der Fragen an das BfN benötigt werden und der Erstellung des Berichtes;
- Unterstützung bei der Vorbereitung und Durchführung der Begehung durch den Wissenschaftsrat;
- Unterstützung bei der Auswertung der Evaluierungsergebnisse sowie bei der Nachbereitung der Evaluierung;
- Analyse der Wirksamkeit und Qualität der wissenschaftsbasierten Politikberatung und Wissenskommunikation des BfN einschließlich der Entwicklung von Empfehlungen zu deren systematischer Weiterentwicklung. Erarbeitung von Vorschlägen zur Integration dieser Empfehlungen in das Qualitätsmanagement des Wissenschaftlichen Arbeitens des BfN.
Management: Hansjörg Gaus | Mitarbeiter:innen: Susanne Johanna Väth, Katharina Hary, Laszlo Szentmarjay, Vanessa KriegerAuftraggeber: Bundesamt für Naturschutz
Instrumentenevaluation
Projektstart: November 2022
Projektende: Dezember 2022
Messung der Kundenzufriedenheit bei AIZ-Dienstleistungen für GIZ-Vorhaben, Folgeerhebung 2022
[Mehr anzeigen]Um eine stetige Qualitätssicherung ihrer Dienstleistungen zu gewährleisten, hat die Akademie für Internationale Zusammenarbeit (AIZ) die CEval GmbH beauftragt, die Erhebungswelle 2022 Ihrer Kundenzufriedenheitsbefragung durchzuführen. Ziel ist es, die Zufriedenheit der GIZ-internen Kund:innen mit den Dienstleistungen der AIZ im Bereich der beruflichen Bildung sowie ggf. Optimierungspotenziale zu ermitteln.
Zu diesem Zweck werden GIZ-interne Kund:innen im Rahmen einer teilstandardisierten Telefonbefragung zu den Bereichen Kommunikation, Beratung und Dienstleistung, Arbeitsweise und Entwicklungsorientierung befragt. Basierend auf den Befunden werden sowohl Stärken als auch Schwächen der von der AIZ durchgeführten Maßnahmen sowie daraus resultierende Verbesserungspotenziale identifiziert.
Management: Sandra Bäthge | Mitarbeiter:innen: Vanessa KriegerAuftraggeber: Akademie für Internationale Zusammenarbeit
Ex-Post und Schlussevaluation
Projektstart: November 2022
Projektende: Juni 2023
Evaluation des „Deutsch-Kolumbianischen Friedensinstituts/ Instituto Colombo-Alemán para la Paz (Instituto CAPAZ)“
[Mehr anzeigen]Das Deutsch-Kolumbianische Friedensinstitut (CAPAZ) ist eines von fünf Exzellenzzentren für Forschung und Lehre im Ausland, welches seit Oktober 2016 aus Mitteln des Auswärtigen Amtes gefördert wird. Das Institut versteht sich als akademische Kooperationsplattform, die den Wissens- und Erfahrungsaustausch zwischen Institutionen aus Forschung und Lehre, Zivilgesellschaft und Staat im Bereich der Friedensforschung fördert und auf diese Weise zum Aufbau einer nachhaltigen Friedensordnung in Kolumbien beitragen will. Die Tätigkeitsfelder des Instituts umfassen die Bereiche Lehre, Forschung, Politikberatung und Wissenstransfer.
Mit Blick auf das Ende der aktuell geförderten Institutionalisierungsphase des Instituts sowie auf eine angestrebte weitere Förderphase, hat der Deutsche Akademische Austauschdienst (DAAD) die CEval GmbH mit einer Evaluation des Instituto CAPAZ beauftragt. Ziel der Evaluation ist es, eine Projektfortschritts- und Erfolgskontrolle des Projekts zu realisieren und auf dieser Basis Vorschläge zur Optimierung des Projekts sowie zur Weiterentwicklung der Förderung zu entwickeln. Hierbei orientiert sich die Evaluation an den Kriterien der Relevanz, Effektivität (Zielerreichung und Wirkung), Effizienz, Nachhaltigkeit sowie Koordination, Komplementarität und Kohärenz.
Der gewählte Evaluationsansatz ist theoriebasiert und partizipativ und kombiniert in methodischer Hinsicht einen Mix aus verschiedenen vornehmlich qualitativen Erhebungs- und Auswertungsmethoden. Unter anderem werden eine Dokumenten- und Sekundärdatenanalyse, explorative Einzel- bzw. Gruppeninterviews sowie vertiefende, leitfadengestützte Einzelinterviews und Fokusgruppendiskussionen realisiert.
Management: Sandra Bäthge | Mitarbeiter:innen: Vera HennefeldAuftraggeber: Deutscher Akademischer Austauschdienst
Strategische Evaluation
Projektstart: Oktober 2022
Projektende: September 2023
Evaluation “Recht auf Bildung, Recht auf Lernen“ Finnlands Entwicklungszusammenarbeit im Bildungssektor
[Mehr anzeigen]Die Abteilung für Evaluierung des finnischen Außenministeriums (MFA) hat eine strategische Evaluation in Auftrag gegeben, um das Ministerium darüber zu informieren, wie es den verschiedenen Akteuren der Entwicklungspolitik und -zusammenarbeit gelingt, Finnlands globale Rolle im Bildungsbereich zu stärken. Die Evaluierung verfolgte 3 Hauptziele: Erstens sollte die Relevanz, Kohärenz und Effizienz der Interventionen verschiedener Akteure der finnischen Entwicklungszusammenarbeit im Bildungssektor analysiert werden. Zweitens sollten die Wirksamkeit von Finnlands Beitrag zur Entwicklung des Bildungssektors in Partnerländern untersucht werden. Drittens sollten alternative zukünftiger Ansätze für eine effektive und kohärente Antwort Finnlands auf die globale Lernkrise identifiziert und dokumentiert werden.
Der übergreifende Analyserahmen der Evaluierung war eine theoriegestützte Kontributionsanalyse, die auf einer nested (macro-micro level) Theory of Change basierte. Zur Beantwortung der Evaluierungsfragen setzte das Evaluierungsteam eine Kombination verschiedener Datenerhebungs- und Analysemethoden ein. Die Methoden umfassten eine Dokumentenanalyse, semi-strukturierte Interviews, drei Länderfallstudien (Äthiopien, Nepal und Palästina), zwei themenbezogene Fallstudien (zur Ausbildung von Grundschullehrern in Mosambik und zur beruflichen Bildung in der Ukraine) und - speziell mit Blick auf die Zukunft - die Delphi-Methode (Interviews und Online-Survey).
Management: Susanne Johanna Väth | Mitarbeiter:innen: Nicolle Comafay-Heinrich, Janis Wicke | Kooperationspartner: Particip, NIRASAuftraggeber: Finnisches Außenministerium
