Evaluierung und Beratung des Projekts „Digitale Politische Bildung und Beratung“
Vor dem Hintergrund der zunehmenden Digitalisierung sämtlicher gesellschaftlicher Bereiche hat die Friedrich-Ebert-Stiftung (FES), deren zentrale Aufgabe die politische Bildung und Beratung ist, das interne Projekt „Digitale Bildung und Beratung & FES digital“ ins Leben gerufen. Es zielt darauf ab, digitale Formate im Bildungs- und Beratungsangebot der FES zu verankern.
Die FES hat schmidt evaluation und die CEval GmbH mit der Durchführung einer begleitenden Evaluation des Projekts beauftragt, welche zur Klärung der Projektziele und -indikatoren sowie zu jenen der einzelnen digitalen Formate beitragen und die Zielerreichung fortlaufend überprüfen sollte.
Methodisch stützt sich die Evaluation auf die Auswertung vorhandener Sekundärdaten, auf ein Benchmarking bezüglich geeigneter Zielindikatoren und Sollwerte sowie auf die Durchführung einer Baseline-, Zwischen- und Abschlusserhebung mittels Online-Fragebögen und onlinebasierten Self-Assessments zum jeweiligen Stand der Digitalisierung der politischen Bildungsangebote.
Evaluation der Präventionskampagne „Mach Dein Passwort stark!“
Mit einem Erlass beauftragte das Ministerium des Innern Nordrhein-Westfalen (IM NRW) im Januar 2019 das Landeskriminalamt NRW (LKA NRW) mit der Entwicklung einer Präventions- und Öffentlichkeitskampagne zur Bekämpfung von Cybercrime. Ziel der Kampagne war es, die Bevölkerung in NRW im sicheren Umgang mit digitalen Endgeräten zu stärken und dadurch Tatgelegenheiten für Cybercrime im weiteren Sinne zu reduzieren und die Arbeit der Täterinnen und Täter zu erschweren. Die crossmediale Kampagne „Mach Dein Passwort stark!“ wurde im Oktober 2020 gestartet.
Die CEval GmbH wurde für die Kampagne mit einer begleitend angelegten Evaluation mit den beiden Teilbereichen Prozess- und Wirkungsevaluation beauftragt. Ziel der Studie war es, den Umsetzungsprozess sowie die Wirksamkeit der Kampagne „Mach Dein Passwort stark!“ zu bewerten und aufbauend auf diesen Ergebnissen Schlussfolgerungen und Empfehlungen für künftige polizeiliche Präventionskampagnen abzuleiten.
Die Evaluation basierte auf einem breiten Mix aus qualitativen und quantitativen Datenerhebungen, in die alle an der Konzeption und Umsetzung der Kampagne beteiligten Akteure sowie die Zielgruppen eingebunden wurden. Das Design beinhaltete auch eine experimentelle Versuchsanordnung zur vergleichenden Wirkungsevaluation der verschiedenen Komponenten der Kampagne. Im Rahmen der Datenauswertungen wurden deskriptive und inferenzstatistische Verfahren sowie qualitative Inhaltsanalysen realisiert.
Evaluation des Programms „Mentoring Hessen – Frauen in Wissenschaft und Wirtschaft“
Mentoring Hessen bietet eine europaweit einmalige Struktur der aufbauenden Förderung für junge Frauen in den Übergangsphasen ihrer Karriere in Wissenschaft und Wirtschaft. Die vier Förderlinien ProCareer.MINT, ProCareer.Doc, ProAcademia und ProProfessur richten sich an Studentinnen der MINT-Fächer sowie fachübergreifend an Doktorandinnen, Postdocs und angehende Professorinnen. Die Förderung umfasst die drei klassischen Säulen Mentoring, Qualifizierungs- und Networkingangebote.
Ziel der Evaluation war es, die Umsetzung des Konzepts und Organisationsmodells von Mentoring Hessen zu analysieren, um aufbauend auf den Befunden Empfehlungen für die optimale Weiterentwicklung des Programms zu erarbeiten. Die Evaluation hat dabei zwei Analyseperspektiven eingenommen: 1. Analyse der Konzeption, Umsetzung und Zielerreichung von Mentoring Hessen: Evaluation der Programmkonzeption und -umsetzung, Bewertung der Zielerreichung und Wirksamkeit, Ableitung von Empfehlungen zur Optimierung von Konzeption, Umsetzung und Zielerreichung; 2. Analyse des Zusammenwirkens der Akteursgruppen im Verbundprojekt Mentoring Hessen: Analyse der Struktur und ihrer Funktionalität sowie Bewertung des Zusammenwirkens der verschiedenen Akteursgruppen, Ableitung von Empfehlungen zur Optimierung von Organisationsstruktur und Zusammenarbeit.
Die Datenerhebung kombinierte eine Dokumentenanalyse mit einer umfassenden Sekundäranalyse von bereits vorhanden Daten aus Erhebungen bei den Zielgruppen, leitfadengestützten Interviews und Gruppendiskussionen. Die Datenanalyse vereinte deskriptive Statistik und qualitative Inhaltsanalyse.
Beschäftigtenbefragung zu Arbeitszeit und mobiler Arbeit
Die TU Darmstadt (TUD) verfolgt das Ziel, Arbeitszeitmodelle und Regelungen zur mobilen Arbeit zu entwickeln, die sich an den Bedürfnissen der Beschäftigten orientieren. Auf diese Weise soll die Zufriedenheit der Beschäftigten mit der Gestaltung von Arbeitszeit und Arbeitsort gefördert werden. Zu diesem Zweck hat das Präsidium der TUD die CEval GmbH mit der Durchführung einer Beschäftigtenbefragung zu den Themen Arbeitszeit und mobile Arbeit beauftragt.
Thematisch wurden die Erhebungen so ausgerichtet, dass zum einen die gelebte Praxis zur Gestaltung der Arbeitszeit und Nutzung mobiler Arbeit erfasst wurde, zum anderen aber auch die Zufriedenheit der Befragten mit dieser Praxis sowie Anregungen und Wünsche für die Zukunft. Ohne dass dies bei der Initiierung der Studie schon abzusehen gewesen wäre, führte die Corona-Pandemie im Erhebungszeitraum zu erheblichen Anpassungen in der Gestaltung der Arbeitsbedingungen, insbesondere hinsichtlich mobiler Arbeit. Während der Feinkonzeption der Studie wurde diesen Veränderungen Rechnung getragen, indem auch Fragestellungen zu den (neuen) Erfahrungen in Bezug auf mobiles Arbeiten während der Pandemie aufgenommen wurden.
Die Datenerhebung kombinierte eine Dokumentenanalyse mit einer teilstandardisierten Online-Befragung aller Beschäftigtengruppen der TUD sowie leitfadengestützten Interviews. Die Datenanalyse vereinte deskriptive Statistik und qualitative Inhaltsanalyse.
Begleitende Evaluation des Förderprojektes „Female Producer Collective“ (2022)
Das Förderprogramm „Female Producer Collective“ der GOFORMUSIC gGmbH ist ein spezielles Förderprojekt für Produzentinnen, die Coachings in den Bereichen „Kreativität und Ideenfindung“, „Recording & Sound Design“, „Mixing & Mastering“ und „Business & Marketing“ erhalten. Ziel des Projektes ist es, gezielt Produzentinnen zu fördern, der geringen Frauenquote im Produktionsbereich entgegenzuwirken und Musikerinnen für das Produzieren begeistern. Die CEval GmbH wurde mit der begleitenden Evaluation des Förderprojektes beauftragt. In methodischer Hinsicht wurden hierfür Fokusgruppeninterviews und eine Kurzbefragung über einen standardisierten Fragebogen durchgeführt.
Begleitende Evaluation des Karriereförderprogramms „Talente sichern – Zukunft gestalten“ (2021/2022)
Das Programm „Talente sichern – Zukunft gestalten“ des Cusanuswerks – Bischöfliche Studienförderung zielt auf die Förderung des weiblichen Führungsnachwuchses. Hierzu setzt das Programm auf Mentoringelemente, also eine tutorielle Betreuung von Stipendiat:innen deutscher Begabtenförderungswerke durch berufserfahrene Akademiker:innen, auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks. Seit Beginn des Karriereförderprogramms im Jahr 2007 führt das CEval zur Qualitätssicherung prozessbegleitende, externe Evaluationen durch. Auch im achten Programmdurchlauf 2021/2022 fand eine begleitende Evaluation statt. Zentrale Aufgabe dieser Evaluation ist es, den durchführungsverantwortlichen Mitarbeiter:innen des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse waren entsprechend der Zielsetzungen des Programms Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen, zur Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten. Methodisch stützte sich die Evaluation auf standardisierte Online-Befragungen der Mentees und Mentor:innen zu drei Zeitpunkten.
Begleitende Evaluation des Förderprogramms „Collegium Cusanum“
Das Programm „Collegium Cusanum“ des Cusanuswerks – Bischöfliche Studienförderung richtet sich an alle Stipendiat:innen des Cusanuswerks (Studierende und Promovierende) sowie Altcusanerinnen und Altcusaner, die eine berufliche Tätigkeit im schulischen bzw. pädagogischen Bereich anstreben oder bereits ausüben. Das Förderprogramm leistet damit einen nachhaltigen Beitrag zur Persönlichkeitsentwicklung und Qualifizierung von Lehrerinnen und Lehrern sowie Pädagog:innen. Hierzu setzt das Programm auf Mentoringelemente, also eine tutorielle Betreuung von Stipendiat:innen des Cusanuswerks durch berufserfahrene Lehrer:innen sowie Pädagog:innen. Die CEval führt zur Qualitätssicherung prozessbegleitende, externe Evaluationen durch. Zentrale Aufgabe dieser Evaluation ist es, den durchführungsverantwortlichen Mitarbeiter:innen des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse sind entsprechend der Zielsetzungen des Programms Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen, zur Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten. Methodisch stützt sich die Evaluation auf standardisierte Online-Befragungen der Mentees und Mentor:innen zu drei Zeitpunkten.
Study program evaluations of the Theaterakademie August Everding
The August Everding Theatre Academy, Munich, is an academic teaching and learning theatre that offers eight courses of study in the field of stage professions at Bachelor’s and Master’s level. These are realised in cooperation with the four Munich universities and the three Munich state theatres.
The Theatre Academy has commissioned CEval GmbH to carry out evaluations of five study programmes. The aim is to collect an evaluation of the theoretical and practical orientation by the students of the various study programmes in the sense of quality development, in order to further optimise the study programmes on the basis of this data. For this purpose, the students are surveyed online using partially standardised questionnaires.
Rahmenvertrag zur Weiterentwicklung und Implementierung von Ansätzen der systematischen Wirkungserfassung mittels Monitoring und Evaluationen für DAAD-Programme (2020)
Der DAAD versteht sich als moderne Wissenschaftsorganisation, die durch kontinuierliches Lernen und die Bereitschaft zur Veränderung ihrer Arbeit bestrebt ist, deren Wirksamkeit kontinuierlich zu verbessern. Dieser Ansatz ist in dem 2019 verabschiedeten Integrierten Monitoring- und Evaluationskonzept des DAAD ausformuliert, in dem institutionelles Lernen, Qualitätssicherung, Wirkungsorientierung, Transparenz in Prozessen und Legitimation als wichtige Dimensionen benannt werden, auf die die verschiedenen Monitoring- und Evaluationsaktivitäten ausgerichtet sind. Aus übergeordneter Perspektive soll so auch die strategische Ausrichtung des DAAD und seiner Programme evidenzbasiert unterstützt werden.
Der Rahmenvertrag mit der CEval GmbH zielt darauf ab, den steigenden Ansprüchen an Wirkungsorientierung und -kontrolle in den verschiedenen Förderbereichen des DAAD noch besser gerecht zu werden, indem die Umsetzung der Wirkungsorientierung und -kontrolle für bestehende und neue Programme in den AA- und BMBF-Förderbereichen unterstützt und die Wirkungsorientierung neu konzipierter BMZ-Programme begleitet werden.
Art der Leistungen (erbrachte Gewerke):
– Entwicklung von Wirkungsgefügen und Indikatorenkatalogen
– (Weiter-)Entwicklung programmspezifischer Monitoring- Instrumente (z.B. Berichtsformate, Fragebögen, Evaluationsbögen)
– (Weiter-)Entwicklung der programmsteuernden Dokumente entsprechend der Anforderungen des Monitoring-Konzepts (z.B. Förderrahmen und begleitende Ausschreibungsunterlagen, Handreichung WoM, Datenauswertungsleitfaden, interne programmspezifische Monitoring-Konzepte und Arbeitsanweisungen, Strategiedokumente)
– Datenaufbereitung und -analyse, Ableitung von Steuerungsentscheidungen
– Capacity Development: interne und externe Workshops zur Umsetzung des Wirkungsorientierten Monitorings (WoM)
– Methodische und/oder vor-Ort-Begleitung im Rahmen von Monitoring-Besuchen bei Projektnehmern
– Beratung zu weiterführenden Ansätzen und Methoden im Bereich Monitoring und Evaluation
– Zusätzliche Beratungs- und Schulungsleistungen
Evaluation der Forschungsstipendienprogramme für Wissenschaftlter:innen aus Deutschland (FLF, JSPS, MOST) der Alexander von Humboldt-Stiftung
Die Alexander von Humboldt-Stiftung (AvH) ermöglicht hochqualifizierten Wissenschaftler:innen aus aller Welt längerfristige Forschungsaufenthalte in Deutschland und unterstützt die sich daraus ergebenden wissenschaftlichen und kulturellen Verbindungen zwischen In- und Ausland. Das Netzwerk der Stiftung umfasst mittlerweile über 29.000 Wissenschaftler:innen aller Fachgebiete in mehr als 140 Ländern.
Zur Stärkung des Humboldt-Netzwerkes beinhaltet das Programmportfolio der AvH auch drei Forschungsstipendienprogramme, die Wissenschaftler:innen aus Deutschland unterstützen, an Forschungseinrichtungen im Ausland zu arbeiten. Das BMBF-finanzierte Feodor Lynen-Forschungsstipendienprogramm (FLF) ermöglicht deutschen Wissenschaftler:innen einen längerfristigen Forschungsaufenthalt im Ausland. Auf diese Weise soll sowohl das bestehende ausländische Humboldt-Netzwerk gestärkt als auch das Potenzial der Humboldt-Alumni im Ausland in ihrer Funktion als wissenschaftliche Beratende und „Türöffner“ für (Nachwuchs-)Wissenschaftler:innen aus Deutschland erschlossen werden. Für die Zielländer Japan und Taiwan kooperiert die Humboldt-Stiftung mit der Japan Society for the Promotion of Science (JSPS) und dem Ministry of Science and Technology, Taiwan (MOST) im Rahmen des JSPS-Programms und des MOST-Programms. Die AvH bietet aus den Fördermitteln des BMBF auch Angebote zur Förderung der Alumni aus allen drei Stipendienprogrammen an. Dazu zählen Wiedereingliederungshilfen, Rückkehrstipendien, erneute Forschungsaufenthalte, Institutspartnerschaften sowie Jahrestagungen und Netzwerkveranstaltungen.
Die Evaluation sollte zwei Funktionen erfüllen: Sie sollte zum einen im Sinne einer formativen Evaluation eine evidenzbasierte Grundlage für die Weiterentwicklung der Programme liefern. Zum anderen sollte sie dazu herangezogen werden, gegenüber den Finanzmittelgebern und der Öffentlichkeit Rechenschaft über die Implementierung und Zielerreichung der Stipendienprogramme abzulegen. Im Zentrum der Evaluation standen die Fragen, inwiefern das Humboldt-Netzwerk von den drei Programmen hat profitieren können und ob im Hinblick auf die Programmziele geeignete Forschungsstipendiat:innen ausgewählt worden waren.
Die Evaluation zeichnete sich durch einen partizipativen sowie Multimethoden-Ansatz aus. So wurden im Rahmen der Evaluation Dokumenten- und Sekundäranalysen kombiniert mit qualitativen (leitfadengestützte Intensivinterviews) sowie quantitativen Erhebungsverfahren (teilstandardisierte Online-Erhebungen).
