Evaluation der Aufnahmeverfahren in Stipendienprogramme der Hans-Böckler-Stiftung (HBS)
Die Hans-Böckler-Stiftung (HBS) vergibt Stipendien an Abiturient:innen im Zweiten Bildungsweg, Künstler:innen und Studierende sowie an Promovierende in allen Fachgebieten. Zur Erlangung eines Stipendiums durchlaufen die Bewerber:innen ein mehrstufiges und mittlerweile digitalisiertes Aufnahmeverfahren, bei dem ihre Eignung anhand einer Reihe von Prüfkriterien bewertet wird. Die CEval GmbH wurde von der HBS beauftragt die Auswahlverfahren zu evaluieren. Hierbei sind insbesondere die Angemessenheit, Zielgerichtetheit und Effizienz des Verfahrens sowie die Fairness und Nachvollziehbarkeit der Prüfkriterien zu untersuchen.
Das CEval-Team orientiert sich dabei an den den OECD-DAC Kriterien mittels derer systematisch ein Analyseraster ausgearbeitet wird. Die Evaluation verfolgt einen Mixed-Methods Ansatz, der qualitative und quantitative Instrumente und Analyseverfahren kombiniert. Zum Einsatz kommen semi-strukturierte leitfadengestützte Interviews, qualitative Kurzinterviews, ein Online-Survey sowie eine Sekundärdaten-Analyse.
Evaluation “Recht auf Bildung, Recht auf Lernen“ Finnlands Entwicklungszusammenarbeit im Bildungssektor
Die Abteilung für Evaluierung des finnischen Außenministeriums (MFA) hatte eine strategische Evaluation in Auftrag gegeben, um das Ministerium darüber zu informieren, wie es den verschiedenen Akteuren der Entwicklungspolitik und -zusammenarbeit gelingt, Finnlands globale Rolle im Bildungsbereich zu stärken. Die Evaluierung verfolgte 3 Hauptziele: Erstens sollte die Relevanz, Kohärenz und Effizienz der Interventionen verschiedener Akteure der finnischen Entwicklungszusammenarbeit im Bildungssektor analysiert werden. Zweitens sollten die Wirksamkeit von Finnlands Beitrag zur Entwicklung des Bildungssektors in Partnerländern untersucht werden. Drittens sollten alternative zukünftiger Ansätze für eine effektive und kohärente Antwort Finnlands auf die globale Lernkrise identifiziert und dokumentiert werden.
Der übergreifende Analyserahmen der Evaluierung war eine theoriegestützte Kontributionsanalyse, die auf einer nested (macro-micro level) Theory of Change basierte. Zur Beantwortung der Evaluierungsfragen setzte das Evaluierungsteam eine Kombination verschiedener Datenerhebungs- und Analysemethoden ein. Die Methoden umfassten eine Dokumentenanalyse, semi-strukturierte Interviews, drei Länderfallstudien (Äthiopien, Nepal und Palästina), zwei themenbezogene Fallstudien (zur Ausbildung von Grundschullehrern in Mosambik und zur beruflichen Bildung in der Ukraine) und – speziell mit Blick auf die Zukunft – die Delphi-Methode (Interviews und Online-Survey).
Begleitende Evaluation des Karriereförderprogramms „Talente sichern – Zukunft gestalten“ (2023/2024)
Das Programm „Talente sichern – Zukunft gestalten“ des Cusanuswerks – Bischöfliche Studienförderung zielt auf die Förderung des weiblichen Führungsnachwuchses. Hierzu setzt das Programm auf Mentoringelemente, also eine tutorielle Betreuung von Stipendiat:innen deutscher Begabtenförderungswerke durch berufserfahrene Akademiker:innen, auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks. Seit Beginn des Karriereförderprogramms im Jahr 2007 führt das CEval zur Qualitätssicherung prozessbegleitende, externe Evaluationen durch. Auch im Programmdurchlauf 2023/2024 findet eine begleitende Evaluation statt. Zentrale Aufgabe dieser Evaluation ist es, den durchführungsverantwortlichen Mitarbeiter:innen des Cusanuswerks steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse sind entsprechend der Zielsetzungen des Programms Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen, zur Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten. Methodisch stützt sich die Evaluation auf onlinebasierte, standardisierte Baseline- und Abschlussbefragungen der Mentees und Mentor:innen.
Ausblickstudie zum DAAD-Programm „HAW.International“
Der Deutsche Akademische Austauschdienst e. V. (DAAD) ist die weltweit größte Förderorganisation für den internationalen Austausch von Studierenden sowie Wissenschaftlerinnen und Wissenschaftlern. Neben der Vergabe von Stipendien fördert der DAAD die Internationalisierung der deutschen Hochschulen, stärkt die Germanistik und die deutsche Sprache im Ausland, unterstützt Entwicklungsländer beim Aufbau leistungsfähiger Hochschulen und berät Entscheider in der Kultur-, Bildungs- und Entwicklungspolitik.
Das DAAD-Förderprogramm „HAW.International“ wird seit dem Jahr 2019 angeboten und richtet sich ausschließlich an Hochschulen für Angewandte Wissenschaften (HAW). Im Rahmen des Programmes werden Studierende und Lehrende an HAW mit Individualstipendien gefördert sowie auch strukturbildende und Modell- und Kooperationsprojekte. Langfristig soll das Programm eine umfassende und nachhaltige Internationalisierung der HAW bewirken und ihre strategische Positionierung als innovatives Hochschulmodell für eine praxisorientierte akademische Ausbildung weltweit befördern. Mit dem Programm soll die Internationalisierung aller HAW in der Breite und strukturell gefördert werden. Dies bedeutet auch, dass der Internationalisierungsprozess auf allen Hochschulebenen und über alle Personengruppen hinweg (Studierende, Lehrende, Forschende und auch Verwaltungspersonal und Hochschulleitungen) strategisch verankert und nachhaltig umgesetzt werden soll. Zu diesem Zweck bietet „HAW.International“ vier thematische Fördermodule, die von den Hochschulen und Studierenden einzeln oder komplementär genutzt werden können.
In Vorbereitung einer weiteren Förderphase ab dem Jahr 2025 wurden mit der Ausblickstudie die bisherigen Ergebnisse der Förderung zusammengefasst und der weitere Unterstützungsbedarf an HAW zur Stärkung ihrer Internationalität und internationalen Sichtbarkeit untersucht. Der Schwerpunkt der Studie lag auf der Herausarbeitung von Erfolgsfaktoren, Hürden und zukünftigen Bedarfen. Die Ergebnisse bieten dem DAAD eine Grundlage für die Planung und Gestaltung der zweiten Programmgeneration von HAW.International.
In methodischer Hinsicht erfolgte zunächst die Auswertung von Monitoring-Daten. Die so gewonnenen Erkenntnisse wurden im weiteren Verlauf der Studie um qualitative Daten aus Einzel- und Gruppeninterviews mit Programmbeteiligten ergänzt.
Rahmenvertrag zur Weiterentwicklung und Implementierung von Ansätzen der systematischen Wirkungserfassung mittels Monitoring und Evaluationen für DAAD-Programme (2023)
Der DAAD versteht sich als moderne Wissenschaftsorganisation, die durch kontinuierliches Lernen und die Bereitschaft zur Veränderung ihrer Arbeit bestrebt ist, deren Wirksamkeit kontinuierlich zu verbessern. Dieser Ansatz ist in dem 2019 verabschiedeten Integrierten Monitoring- und Evaluationskonzept des DAAD ausformuliert, in dem institutionelles Lernen, Qualitätssicherung, Wirkungsorientierung, Transparenz in Prozessen und Legitimation als wichtige Dimensionen benannt werden, auf die die verschiedenen Monitoring- und Evaluationsaktivitäten ausgerichtet sind. Aus übergeordneter Perspektive soll so auch die strategische Ausrichtung des DAAD und seiner Programme evidenzbasiert unterstützt werden.
Der Rahmenvertrag fokussiert auf die wirkungsorientierte Programmplanung, das wirkungsorientierte Monitoring und die Zielerreichung und damit auf Weiterentwicklungs- und Lernprozesse sowie auf die Berichtspflichten im Rahmen der Erfolgskontrolle. Er nimmt weitergehend aber auch die effektive und effiziente Nutzung der durch das WoM generierten Datenbasis im Rahmen monitoringbasierter Analysen und Evaluationen in den Blick und kann so maßgeblich zur Stärkung und Erhöhung des Nutzens des WoM beitragen.
Hierfür werden Leistungen in folgenden Aufgabenbereichen erbracht:
– Entwicklung von Wirkungsgefügen und Indikatorenkatalogen
– Entwicklung programmspezifischer Monitoring-Instrumente und Überarbeitung der programmsteuernden Dokumente entsprechend der Anforderungen des Monitoring-Konzepts
– Datenaufbereitung und -analyse
– Durchführung von Mointoring-basierten Analysen und Evaluationen
– Begleitung von Monitoring-Besuchen bei Projektnehmern
– Interne und externe Workshops zur Umsetzung des Wirkungsorientierten Monitorings (WoM)
– Beratung zu weiterführenden Ansätzen und Methoden im Bereich Monitoring und Evaluation
– Zusätzliche Beratungs- und Schulungsleistungen
Unterstützung der Evaluation des Azubi Kollegs Lübeck
Das Azubi Kolleg Lübeck ist ein Programm der Joachim Herz Stiftung und der Lübecker Possehl-Stiftung, welches 25 talentierte und motivierte Lübecker Auszubildende über zwei Jahre in ihrer Persönlichkeitsbildung unterstützt und soziale Kompetenzen fördert. Durch Seminare, Workshops und Trainings in zwei Blockveranstaltungen pro Jahr sollen die Azubis dazu befähigt werden, ihre Stärken und Potenziale zu erkennen und zu entfalten und u.a. ihr Selbstbewusstsein, ihr Verantwortungsbewusstsein und ihr gesellschaftliches Engagement zu steigern. In den Blockveranstaltungen werden Fortbildungen in drei großen Themenblöcken angeboten: a) Kommunikation, b) Gesellschaft/ Politik/ Wirtschaft und c) kulturelle Bildung. Weitere Ziele des Programmes stellen der Austausch zwischen den Azubis, der gemeinsame Lernprozess und der Aufbau eines Netzwerkes dar. Langfristig soll das Programm einen Beitrag zur Persönlichkeitsbildung und beruflichen Etablierung der Azubis sowie zur Erhöhung der Attraktivität der beruflichen Ausbildung in Lübecker KMU leisten. Zudem soll es der Begabungsförderung für Auszubildende zu einer größeren gesellschaftlichen Präsenz verhelfen und insgesamt zur Persönlichkeitsbildung von Jugendlichen und jungen Erwachsenen beitragen. Als Pilotprojekt ist das Azubi Kolleg auf fünf Jahre angelegt.
Im Jahr 2023 war die CEval GmbH erneut damit beauftragt worden, die Evaluation des Programms zu unterstützen. Auf Basis des bereits im Vorgängerprojekt erarbeiteten Wirkungsgefüges und Indikatorenkataloges wurden 2023 nun zum einen die Baseline-Daten der 2. Kohorte in einer vergleichenden Analyse mit den Daten der 1. Kohorte verglichen. Zum anderen wurden im Sinne einer Wirkungserfassung erneut Online-Befragungen unter Azubis, Lehrer:innen, Betreuer:innen als auch Fokusgruppeninterviews mit Azubis und Leitfadeninterviews mit Lehrer:innen und Betreuer:innen zum Programmende als Basis für einen Vorher-Nachher-Vergleich durchgeführt.
Ex-ante Befragungen im Programm „Azubi Kolleg Lübeck“
Das Azubi Kolleg Lübeck ist ein Programm der Joachim Herz Stiftung und der Lübecker Possehl-Stiftung, welches 25 Lübecker Auszubildende über zwei Jahre in ihrer Persönlichkeitsentwicklung unterstützt und soziale Kompetenzen fördert. Durch Seminare, Workshops und Trainings sollen die Azubis dazu befähigt werden, ihre Stärken und Potenziale zu erkennen und zu entfalten und ihr Selbstbewusstsein, Verantwortungsbewusstsein und gesellschaftliches Engagement zu steigern. In den Blockveranstaltungen werden Fortbildungen zu drei großen Themenblöcken angeboten: a) Kommunikation, b) Gesellschaft/ Politik/ Wirtschaft und c) kulturelle Bildung. Weitere Ziele des Programmes stellen der Austausch zwischen den Azubis, der gemeinsame Lernprozess und der Aufbau eines Netzwerkes dar. Langfristig soll das Programm einen Beitrag zur Persönlichkeitsbildung und beruflichen Etablierung der Azubis sowie zur Erhöhung der Attraktivität der beruflichen Ausbildung leisten. Zudem soll es der Begabtenförderung für Auszubildende zu einer größeren gesellschaftlichen Präsenz verhelfen. Als Pilotprojekt ist das Azubi Kolleg auf fünf Jahre angelegt.
Um das Programm kontinuierlich zu verbessern, wurde die CEval GmbH damit beauftragt, die Wirkungsorientierung des Programmes zu stärken, weswegen von der CEval GmbH in einem ersten Schritt ein Wirkungsgefüge und ein Indikatorenkatalog erarbeitet wurden. Auf dieser Basis wurden in nächsten Schritt Ex-Ante-Befragungen in Form von Online-Befragungen unter den Auszubildenden und unter den Personen, die die Azubis im Betrieb (z.B. als Ausbilder:in, Geschäftsführung, Personalabteilung etc.) oder in der Schule (z.B. als Klassenlehrer:in, Abteilungsleiter:in etc.) betreuen, durchgeführt. Mithilfe dieser Befragungen zu Beginn des ersten Programmdurchlaufs sollten unter anderem die Erwartungen der verschiedenen Akteure an das Programm und die beruflichen Ziele der Azubis ermittelt werden. Zum anderen sollten die Befragungen auch Auskunft über die Selbst- und Fremdeinschätzung der Fähigkeiten, Persönlichkeitsmerkmale, Freizeitaktivitäten oder Interessenfelder der Azubis zu Beginn ihrer Programmteilnahme geben.
Begleitende Evaluation des Förderprojektes “Female Producer Collective“ (2023)
Das Förderprogramm „Female Producer Collective“ der GOFORMUSIC gGmbH ist ein spezielles Förderprojekt für Produzentinnen, die Coachings in den Bereichen „Kreativität und Ideenfindung“, „Recording & Sound Design“, „Mixing & Mastering“ und „Business & Marketing“ erhalten. Ziel des Projektes ist es, gezielt Produzentinnen zu fördern, der geringen Frauenquote im Produktionsbereich entgegenzuwirken und Musikerinnen für das Produzieren zu begeistern. Die CEval GmbH wurde bereits in der ersten Förderrunde (2022) mit der begleitenden Evaluation des Förderprojektes beauftragt. 2023 startete das Förderprogramm „Female Producer Collective“ mit einer zweiten Förderrunde, wobei die CEval GmbH erneut eine begleitende Evaluation durchgeführt hat. In methodischer Hinsicht wurden sowohl Fokusgruppeninterviews mit Teilnehmenden und Coaches des Programmes als auch eine Online-Befragung über einen standardisierten Fragebogen durchgeführt.
Datenerhebung zur Vergabe des Qualitätssiegels „Fanprojekt nach dem Nationalen Konzept Sport und Sicherheit“
In Deutschland existiert ein dichtes Netzwerk von Einrichtungen der sozialen Arbeit mit jugendlichen Fußballfans, die nach den Rahmenbedingungen und Vorgaben des Nationalen Konzepts Sport und Sicherheit (NKSS) arbeiten. Das „Qualitätssiegel nach dem Nationalen Konzept Sport und Sicherheit“ wurde im Jahr 2010 mit dem Ziel eingeführt, diesen sozialpädagogisch arbeitenden Fußballfanprojekten in Deutschland ein Instrument der Qualitätssicherung an die Hand zu geben, um gemeinsame Standards und mehr Handlungssicherheit herbeizuführen und die strukturellen Rahmenbedingungen der sozialpädagogisch arbeitenden Fußballfanprojekte zu verbessern. Das Qualitätssiegel wird auf Basis einer Empfehlung der AG Qualitätssicherung, welche durch die Koordinationsstelle Fanprojekte bei der Deutschen Sportjugend (KOS) koordiniert wird, durch den Beirat der KOS vergeben. In der AG Qualitätssicherung sind Vertreter aus dem Fußball, der obersten Landes- und Familienbehörden, der Wissenschaft und der Fanprojekte selbst vertreten. Nachdem in zwei Vorgängerprojekten bereits das Qualitätssiegel von der CEval GmbH überarbeitet, modellhaft getestet und im Anschluss die bundesweite Ausrollung durch die Erhebung der für die Vergabe notwendigen Informationen in allen Fanprojekten durchgeführt wurde, wurde die CEval GmbH nun mit den Datenerhebungen der dritten Phase zur Siegelvergabe für die aktuell 71 Fanprojekte beauftragt.
Evaluation des digitalen Seniorenportals “digital.vital”
Das Seniorenportal „digital.vital“ ist ein Modellprojekt des Amtes Hüttener Berge, des Landkreises Germersheim und der Stadt Püttlingen. Ziel des Portals ist es, einen Beitrag zur Begegnung der Herausforderungen zu leisten, die mit dem demografischen Wandel und der fortschreitenden Digitalisierung einhergehen: Durch bedarfsgerechte Angebote sollen Menschen in den Bereichen Ernährung, Bewegung und Freizeitgestaltung/soziale Teilhabe (inkl. Wohnen, Mobilität, Unterstützung) darin unterstützt werden, im Alter eine hohe Lebensqualität zu erzielen und zu erhalten. Zugleich soll durch das Portal auch die digitale Teilhabe älterer Menschen gestärkt werden. Das Projekt startete im Juli 2020 und ab Herbst 2022 werden auf dem Portal verschiedene Service- und Informationsangebote zur Verfügung gestellt werden.
Das Amt Hüttener Berge hat die CEval GmbH damit beauftragt, über eine Evaluation des Seniorenportals Erkenntnisse zur Qualität des Informations- und Serviceangebots zu erhalten und mögliche Optimierungspotenziale zur User Experience im Sinne der Portalfunktionalität sowie inhaltlicher Art (Content) zu identifizieren. Methodisch werden für die strukturierte Evaluierung der User Experience der Pilotnutzer:innen im Rahmen sog. Digitaler Werkstätten an verschiedenen Standorten insgesamt vier teilnehmende Beobachtungen durchgeführt. Ergänzt werden die teilnehmenden Beobachtungen um Nachbefragungen ausgewählter Teilnehmer:innen einige Tage nach dem Besuch der Digitalen Werkstätten, um Daten zum tatsächlichen Nutzen der Werkstätten und der Nutzung der Webseite durch die Teilnehmer:innen zu erfassen. Zudem wird eine teilstandardisierte Online-Befragung unter Trägern und Akteuren der Seniorenarbeit aus den Partnerkommunen zu deren Wahrnehmungen und fachlichen Einschätzungen zum Seniorenportal, zu seinen Angeboten sowie auch zu Weiterentwicklungspotenzialen durchgeführt.
