Begleitende Evaluation des Förderprojektes „Female Producer Collective“ (2022)
Das Förderprogramm „Female Producer Collective“ der GOFORMUSIC gGmbH ist ein spezielles Förderprojekt für Produzentinnen, die Coachings in den Bereichen „Kreativität und Ideenfindung“, „Recording & Sound Design“, „Mixing & Mastering“ und „Business & Marketing“ erhalten. Ziel des Projektes ist es, gezielt Produzentinnen zu fördern, der geringen Frauenquote im Produktionsbereich entgegenzuwirken und Musikerinnen für das Produzieren begeistern. Die CEval GmbH wurde mit der begleitenden Evaluation des Förderprojektes beauftragt. In methodischer Hinsicht wurden hierfür Fokusgruppeninterviews und eine Kurzbefragung über einen standardisierten Fragebogen durchgeführt.
Begleitende Evaluation des Karriereförderprogramms „Talente sichern – Zukunft gestalten“ (2021/2022)
Das Programm „Talente sichern – Zukunft gestalten“ des Cusanuswerks – Bischöfliche Studienförderung zielt auf die Förderung des weiblichen Führungsnachwuchses. Hierzu setzt das Programm auf Mentoringelemente, also eine tutorielle Betreuung von Stipendiat:innen deutscher Begabtenförderungswerke durch berufserfahrene Akademiker:innen, auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks. Seit Beginn des Karriereförderprogramms im Jahr 2007 führt das CEval zur Qualitätssicherung prozessbegleitende, externe Evaluationen durch. Auch im achten Programmdurchlauf 2021/2022 fand eine begleitende Evaluation statt. Zentrale Aufgabe dieser Evaluation ist es, den durchführungsverantwortlichen Mitarbeiter:innen des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse waren entsprechend der Zielsetzungen des Programms Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen, zur Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten. Methodisch stützte sich die Evaluation auf standardisierte Online-Befragungen der Mentees und Mentor:innen zu drei Zeitpunkten.
Begleitende Evaluation des Förderprogramms „Collegium Cusanum“
Das Programm „Collegium Cusanum“ des Cusanuswerks – Bischöfliche Studienförderung richtet sich an alle Stipendiat:innen des Cusanuswerks (Studierende und Promovierende) sowie Altcusanerinnen und Altcusaner, die eine berufliche Tätigkeit im schulischen bzw. pädagogischen Bereich anstreben oder bereits ausüben. Das Förderprogramm leistet damit einen nachhaltigen Beitrag zur Persönlichkeitsentwicklung und Qualifizierung von Lehrerinnen und Lehrern sowie Pädagog:innen. Hierzu setzt das Programm auf Mentoringelemente, also eine tutorielle Betreuung von Stipendiat:innen des Cusanuswerks durch berufserfahrene Lehrer:innen sowie Pädagog:innen. Die CEval führt zur Qualitätssicherung prozessbegleitende, externe Evaluationen durch. Zentrale Aufgabe dieser Evaluation ist es, den durchführungsverantwortlichen Mitarbeiter:innen des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse sind entsprechend der Zielsetzungen des Programms Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen, zur Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten. Methodisch stützt sich die Evaluation auf standardisierte Online-Befragungen der Mentees und Mentor:innen zu drei Zeitpunkten.
Study program evaluations of the Theaterakademie August Everding
The August Everding Theatre Academy, Munich, is an academic teaching and learning theatre that offers eight courses of study in the field of stage professions at Bachelor’s and Master’s level. These are realised in cooperation with the four Munich universities and the three Munich state theatres.
The Theatre Academy has commissioned CEval GmbH to carry out evaluations of five study programmes. The aim is to collect an evaluation of the theoretical and practical orientation by the students of the various study programmes in the sense of quality development, in order to further optimise the study programmes on the basis of this data. For this purpose, the students are surveyed online using partially standardised questionnaires.
Rahmenvertrag zur Weiterentwicklung und Implementierung von Ansätzen der systematischen Wirkungserfassung mittels Monitoring und Evaluationen für DAAD-Programme (2020)
Der DAAD versteht sich als moderne Wissenschaftsorganisation, die durch kontinuierliches Lernen und die Bereitschaft zur Veränderung ihrer Arbeit bestrebt ist, deren Wirksamkeit kontinuierlich zu verbessern. Dieser Ansatz ist in dem 2019 verabschiedeten Integrierten Monitoring- und Evaluationskonzept des DAAD ausformuliert, in dem institutionelles Lernen, Qualitätssicherung, Wirkungsorientierung, Transparenz in Prozessen und Legitimation als wichtige Dimensionen benannt werden, auf die die verschiedenen Monitoring- und Evaluationsaktivitäten ausgerichtet sind. Aus übergeordneter Perspektive soll so auch die strategische Ausrichtung des DAAD und seiner Programme evidenzbasiert unterstützt werden.
Der Rahmenvertrag mit der CEval GmbH zielt darauf ab, den steigenden Ansprüchen an Wirkungsorientierung und -kontrolle in den verschiedenen Förderbereichen des DAAD noch besser gerecht zu werden, indem die Umsetzung der Wirkungsorientierung und -kontrolle für bestehende und neue Programme in den AA- und BMBF-Förderbereichen unterstützt und die Wirkungsorientierung neu konzipierter BMZ-Programme begleitet werden.
Art der Leistungen (erbrachte Gewerke):
– Entwicklung von Wirkungsgefügen und Indikatorenkatalogen
– (Weiter-)Entwicklung programmspezifischer Monitoring- Instrumente (z.B. Berichtsformate, Fragebögen, Evaluationsbögen)
– (Weiter-)Entwicklung der programmsteuernden Dokumente entsprechend der Anforderungen des Monitoring-Konzepts (z.B. Förderrahmen und begleitende Ausschreibungsunterlagen, Handreichung WoM, Datenauswertungsleitfaden, interne programmspezifische Monitoring-Konzepte und Arbeitsanweisungen, Strategiedokumente)
– Datenaufbereitung und -analyse, Ableitung von Steuerungsentscheidungen
– Capacity Development: interne und externe Workshops zur Umsetzung des Wirkungsorientierten Monitorings (WoM)
– Methodische und/oder vor-Ort-Begleitung im Rahmen von Monitoring-Besuchen bei Projektnehmern
– Beratung zu weiterführenden Ansätzen und Methoden im Bereich Monitoring und Evaluation
– Zusätzliche Beratungs- und Schulungsleistungen
Evaluation der Forschungsstipendienprogramme für Wissenschaftlter:innen aus Deutschland (FLF, JSPS, MOST) der Alexander von Humboldt-Stiftung
Die Alexander von Humboldt-Stiftung (AvH) ermöglicht hochqualifizierten Wissenschaftler:innen aus aller Welt längerfristige Forschungsaufenthalte in Deutschland und unterstützt die sich daraus ergebenden wissenschaftlichen und kulturellen Verbindungen zwischen In- und Ausland. Das Netzwerk der Stiftung umfasst mittlerweile über 29.000 Wissenschaftler:innen aller Fachgebiete in mehr als 140 Ländern.
Zur Stärkung des Humboldt-Netzwerkes beinhaltet das Programmportfolio der AvH auch drei Forschungsstipendienprogramme, die Wissenschaftler:innen aus Deutschland unterstützen, an Forschungseinrichtungen im Ausland zu arbeiten. Das BMBF-finanzierte Feodor Lynen-Forschungsstipendienprogramm (FLF) ermöglicht deutschen Wissenschaftler:innen einen längerfristigen Forschungsaufenthalt im Ausland. Auf diese Weise soll sowohl das bestehende ausländische Humboldt-Netzwerk gestärkt als auch das Potenzial der Humboldt-Alumni im Ausland in ihrer Funktion als wissenschaftliche Beratende und „Türöffner“ für (Nachwuchs-)Wissenschaftler:innen aus Deutschland erschlossen werden. Für die Zielländer Japan und Taiwan kooperiert die Humboldt-Stiftung mit der Japan Society for the Promotion of Science (JSPS) und dem Ministry of Science and Technology, Taiwan (MOST) im Rahmen des JSPS-Programms und des MOST-Programms. Die AvH bietet aus den Fördermitteln des BMBF auch Angebote zur Förderung der Alumni aus allen drei Stipendienprogrammen an. Dazu zählen Wiedereingliederungshilfen, Rückkehrstipendien, erneute Forschungsaufenthalte, Institutspartnerschaften sowie Jahrestagungen und Netzwerkveranstaltungen.
Die Evaluation sollte zwei Funktionen erfüllen: Sie sollte zum einen im Sinne einer formativen Evaluation eine evidenzbasierte Grundlage für die Weiterentwicklung der Programme liefern. Zum anderen sollte sie dazu herangezogen werden, gegenüber den Finanzmittelgebern und der Öffentlichkeit Rechenschaft über die Implementierung und Zielerreichung der Stipendienprogramme abzulegen. Im Zentrum der Evaluation standen die Fragen, inwiefern das Humboldt-Netzwerk von den drei Programmen hat profitieren können und ob im Hinblick auf die Programmziele geeignete Forschungsstipendiat:innen ausgewählt worden waren.
Die Evaluation zeichnete sich durch einen partizipativen sowie Multimethoden-Ansatz aus. So wurden im Rahmen der Evaluation Dokumenten- und Sekundäranalysen kombiniert mit qualitativen (leitfadengestützte Intensivinterviews) sowie quantitativen Erhebungsverfahren (teilstandardisierte Online-Erhebungen).
International Program for Development Evaluation Training (IPDET)
Das International Program for Development Evaluation Training (IPDET) ist eines der führenden Trainingsprogramme im Bereich der Evaluierung von Entwicklungszusammenarbeit. Seit 2018 wird es gemeinsam vom Zentrum für Weiterbildung an der Universität Bern (Schweiz), dem Centrum für Evaluation an der Universität des Saarlandes (Deutschland) und der Independent Evaluation Group der Weltbank durchgeführt. Seit 2020 ist IPDET Partner der Global Evaluation Initiative (GEI) der Weltbank.
Ziel von IPDET ist es Praktizierenden im Bereich der Evaluierung die notwendigen Fertigkeiten zu vermitteln, um Richtlinien, Programme und Projekte auf lokaler, nationaler, regionaler und globaler Ebene zu evaluieren, sowie Führungskräften die nötigen Kenntnisse, um Evaluierungen zu beauftragen und Evaluierungsergebnisse für Entscheidungsprozesse zu nutzen. Weitere Infos zu IPDET finden Sie auf der Website: https://ipdet.org/.
Pilotprojekt zur gemeinsamen Spieltagsnachbereitung im Profifußball
Die Daniel Nivel Stiftung verfolgt das Ziel, das Verhältnis zwischen Fußballfans und Polizei zu verbessern. Die Stiftung kooperiert zur Erreichung dieses Ziels mit nationalen Fußballverbänden und hat 2018 die finanziellen Mittel für zwei Pilotprojekte freigegeben, eines mit dem französischen Fußballverband (FFF) und eines mit dem Deutschen Fußball-Bund (DFB). Auf deutscher Seite wurde in sog. Zukunftswerkstätten die Idee entwickelt, eine gemeinsame Spieltagsnachbereitung zu etablieren, in deren Rahmen ein Dialog zwischen Fußballfans und Polizei geschaffen wird. So sollen Konflikte nach Spieltagen aufgearbeitet und Lösungsvorschläge für zukünftige Ereignisse entwickelt werden.
Der DFB hatte die CEval GmbH mit der wissenschaftlichen Begleitung dieses Projektes beauftragt. Die Aufgaben der CEval GmbH reichten von der Konzeption des Projektes (Ablauf der Nachbereitung, Auswahl von Pilotstandorten, etc.) über die Entwicklung geeigneter Instrumente zur Fanbefragung und Formate zur Spieltagsnachbereitung bis zur Unterstützung der Akteure bei der praktischen Durchführung und Moderation der Nachbereitung. Dabei wurden unterschiedliche Abläufe und Formate zur Spieltagsnachbereitung getestet, um im Anschluss an die Pilotphase ein anwendungsfähiges Konzept vorlegen zu können. Alle Arbeitsschritte erfolgten in enger Zusammenarbeit mit dem Projektteam des DFB. Auch mit der Koordinationsstelle Fanprojekte (KOS) und der Deutschen Fußball Liga (DFL) gibt es einen regelmäßigen, projektbezogenen Austausch. Die Projektlaufzeit ist von Januar 2019 bis Mai 2020 angesetzt. In der ersten Jahreshälfte 2019 erfolgte die detaillierte Projektkonzeption und -ausarbeitung inkl. Arbeitstreffen und Workshops mit allen beteiligten Akteuren. In der zweiten Jahreshälfte, während der Hinrunde der Saison 2019/2020, wurde das entwickelte Konzept zur Spieltagsnachbereitung in Zusammenarbeit mit ausgewählten Pilotstandorten aus dem Profifußball durchgeführt und getestet. Zentrale Partner waren dabei die Fanprojekte der entsprechenden Standorte. Im Anschluss folgten eine Bewertung und ggf. Anpassung des Konzepts zur Spieltagsnachbereitung sowie die Dokumentation des Projektes in Form eines Abschlussberichtes.
Evaluation des Projektes „Digital Leadership“ der Führungsakademie Baden-Württemberg
Seit März 2018 bietet die Führungsakademie Baden-Württemberg (FüAK) das Programm „Digital Leadership“ an. Das Programm umfasst unterschiedliche Fortbildungsformate zur Förderung „digitaler Kompetenzen“ von Führungskräften der Verwaltungen des Landes Baden-Württemberg. Ziel ist es, diese Führungskräfte auf die Anforderungen des Digitalen Wandels vorzubereiten, sie miteinander zu vernetzen und mit den erforderlichen Kompetenzen auszustatten, damit sie in ihren Institutionen den digitalen Wandel vorantreiben und gestalten können. Zu den Formaten des Programms zählen fachliche Fortbildungen (z.B. Programmieren, Design Thinking), Netzwerkveranstaltungen, Learning Journeys zu innovativen Unternehmen und themenspezifische Fokusgruppen. Gegenstand der Evaluation waren die unterschiedlichen Fortbildungsformate des Programms. Diese wurden hinsichtlich ihrer Wirkungen evaluiert. Der Fokus lag dabei auf der Outcome-Ebene, also auf den kurz- und mittelfristigen Wirkungen der verschiedenen Veranstaltungen. Dazu wurde im Sinne des partizipativen Evaluationsansatzes der CEval GmbH gemeinsam mit dem Projektteam eine Wirkungslogik erarbeitet. Die Wirkungen wurden im Rahmen der Evaluation mithilfe eines Multimethodenansatzes überprüft. Zum einen wurden Teilnehmerfragebögen entwickelt und zu zwei Zeitpunkten, am Veranstaltungsende und nach einer definierten Wirkungsphase, eingesetzt. Zum anderen wurden Interviews mit unterschiedlichen Stakeholdergruppen geführt, um so tiefergehende Einschätzungen zu relevanten Aspekten des Programms zu erhalten. Auf diese Weise konnten die Vorteile beider Datenerhebungsmethoden kombiniert und zur Bewertung der Fortbildungsformate genutzt werden. Auf Basis der Erkenntnisse wurden Empfehlungen zur Weiterentwicklung und Optimierung des Fortbildungsprogramms entwickelt.
Evaluation der im Jahr 2019 geförderten Flüchtlingsprojekte der Beauftragten der Bundesregierung für Migration, Flüchtlinge und Integration
Im Jahr 2019 förderte die Beauftragte der Bundesregierung für Migration, Flüchtlinge und Integration 25 Flüchtlingsprojekte in den Förderbereichen Stärkung des Ehrenamtes, Empowerment und Gewaltprävention sowie politische und gesellschaftliche Teilhabe. Ziel der Förderung war es, zu einer verbesserten gesellschaftlichen Integration und Teilhabe von Geflüchteten in Deutschland beizutragen.
Aufgabe der Evaluation war es, die Zielerreichung, Wirksamkeit und Wirtschaftlichkeit der geförderten Projekte zu beurteilen und Empfehlungen für zukünftige Förderungen abzuleiten. Gleichzeitig sollten die geförderten Projekte beim Aufbau und der Umsetzung eines wirkungsorientierten Monitorings ihrer Projekte unterstützt werden. Die Evaluation war als begleitende Evaluation mit formativen und summativen Elementen angelegt und beinhaltete eine Capacity Building Komponente zum wirkungsorientierten Monitoring. In methodischer Hinsicht wurde ein Mix aus qualitativen und quantitativen Erhebungs- und Auswertungsmethoden miteinander kombiniert. Unter anderem wurden eine Dokumentenanalyse, Leitfadeninterviews, Fokusgruppendiskussionen sowie eine Online-Befragung realisiert.
