Alumni-Befragung der European School of Materials (EUSMAT)
Die European School of Materials (EUSMAT) der Universität des Saarlandes bietet verschiedene internationale Studiengänge auf Bachelor-, Master- und Doktorandenniveau an. Um mit den Alumni dieser Studienangebote in Kontakt zu bleiben, engagiert sich EUSMAT zunehmend im Bereich der Alumni-Arbeit.
Zur Überprüfung der Passgenauigkeit der bisherigen Alumni-Aktivitäten sowie zur Identifikation der Erwartungen und Bedarfe der Alumni in diesem Bereich, wurde die CEval GmbH von EUSMAT mit der Konzeption und Durchführung einer Alumni-Befragung beauftragt. Ziel war es, eine Datenbasis für den weiteren Ausbau und die Optimierung der Alumni-Arbeit von EUSMAT zu schaffen.
In methodischer Hinsicht wurden hierfür eine teilstandardisierte Befragung sowie Fokusgruppendiskussionen unter EUSMAT-Alumni konzipiert und durchgeführt.
Ressortgemeinsame strategische Evaluierung des AA- und des BMZ-Engagements in Irak
Die Bundesregierung beabsichtigt, im Rahmen ihres Krisenengagements in Irak eine weitere Verankerung von Monitoring und Evaluierung als Instrumente des Lernens und der Qualitätssicherung, der Rechenschaftslegung und der strategischen Steuerung. In diesem Kontext wurde eine ressortgemeinsame Evaluierung des Irak-Engagements des Auswärtigen Amtes (AA) und des Bundesministeriums für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) durchgeführt. Diese sollte gleichzeitig als Pilotvorhaben und möglichst als Modell für ressortgemeinsame Evaluierungen beider Häuser in relevanten Handlungsfeldern und an ihren Schnittstellen fungieren. Hauptziel dieser ressortgemeinsamen Evaluierung war das gemeinsame institutionelle Lernen. Die AA-Komponente der Evaluation wurde von einem Konsortium unter Federführung der GFA Consulting Group realisiert, an dem die CEval GmbH beteiligt war; die BMZ-Komponente durch das Deutsche Evaluierungsinstitut (DEval). Beide Evaluationsteams arbeiteten in einer Arbeitsgemeinschaft eng zusammen.
Ziel der Evaluierung war es, eine unabhängige und umfassende Analyse und Bewertung des Engagements der beiden Ressorts vorzunehmen, um Erkenntnisse für die (gemeinsame) Steuerung zu gewinnen und zu nutzen. Durch die Evaluierung wurden Erkenntnisse über Relevanz, Effektivität und übergeordnete Wirkungen, Effizienz, Nachhaltigkeit bzw. Anschlussfähigkeit sowie Koordination, Kohärenz und Komplementarität des Irak-Engagements beider Ressorts gewonnen. Weiterhin hat die Evaluierung Handlungsempfehlungen für eine Optimierung des Gesamtengagements und einzelner Maßnahmen, Strukturen und Prozesse geliefert, um das laufende Portfolio ggf. nachzusteuern. Schließlich wurden aus dem AA-BMZ Engagement in Irak Lernerfahrungen für ein ähnliches Engagement in anderen Krisenkontexten identifiziert. Die Evaluierung diente auch der begleitenden bzw. abschließenden Erfolgskontrolle des Länderportfolios gemäß Bundeshaushaltsordnung.
Methodisch basierte die Evaluation auf einem breiten Mix aus qualitativen und quantitativen Datenerhebungs- und Auswertungsmethoden. Die Datenerhebungen wurden aufgrund pandemiebedingter Reisebeschränkungen durch das Konsortium sowohl in Deutschland als auch im Irak remote realisiert bzw. gesteuert.
Entwicklung eines Wirkungsgefüges „Resilienz in der Strategischen Kommunikation“
Der digitale Wandel hat auch die Anforderungen an die Außenpolitik und ihre Kommunikation stark verändert. War sie früher vor allem Sache des Außenministers und des weltweiten Netzwerks an Auslandsvertretungen, hat Außenpolitik heute viele staatliche und nichtstaatliche Akteure. Zugleich hat der globale Wettbewerb um Aufmerksamkeit durch die Digitalisierung sowie auch durch zahlreiche neue Player und Allianzen eine neue Dimension erreicht. Sie hat sich aber auch durch massive Verlagerung der Kommunikation in die Sozialen Medien verändert. Strategische Kommunikation ist daher heute nicht nur ein anderes Kommunizieren in anderen sozialen Räumen, sondern zugleich eine Auseinandersetzung mit Herausforderungen wie Desinformation, Propaganda oder Hasskriminalität und einem veränderten Begriff von Öffentlichkeit, von freier Meinungsäußerung und ihren Gefährdungen.
Ziel des Auftrags war es, eine Entscheidungsgrundlage für die Projektauswahl zur Verfügung zu stellen, welche auf eindeutigen und vorab definierten Kriterien dazu basiert, wie gut sich ein vorgeschlagenes Projekt in die Gesamtlogik der Resilienzförderung einfügt sowie eine Grundlage für die Evaluierung des deutschen Engagements im Resilienzbereich zu schaffen. Dies erfolgte in Form der Erarbeitung eines Wirkungsgefüges mit zugehörigen wirkungsorientierten Indikatoren, die in einem Begleitbericht dokumentiert und kommunikationstheoretisch eingebettet wurden.
Pilotvorhaben strategische Evaluierung der Transformationspartnerschaften mit Jordanien, Marokko und Tunesien
Die CEval GmbH führte gemeinsam mit der GFA Consulting Group im Rahmen einer Arbeitsgemeinschaft eine strategische Evaluierung der seit 2011 bestehenden Transformationspartnerschaften des Auswärtigen Amtes (AA) als Teil der Außenpolitik der deutschen Bundesregierung zur Unterstützung von Demokratisierungsprozessen in arabischen Ländern durch. Der Schwerpunkt der Evaluierung lag auf den Bereichen Rechtsstaatsförderung, Förderung der Zivilgesellschaft und Auswärtige Kultur- und Bildungspolitik sowie auf den drei Ländern Jordanien, Marokko und Tunesien.
Das Pilotvorhaben der strategischen Evaluierung stand im Kontext des längerfristigen Ziels eines Ausbaus der Nutzung strategischer Evaluierung als Steuerungsinstrument und der Verankerung institutionellen Lernens im AA. Neben der Untersuchung tatsächlich angewendeter Verfahren und Methoden zur strategischen Schwerpunktsetzung sollten daher auch Ausbaumöglichkeiten der strategischen Steuerung und Verbesserungsmöglichkeiten bei der Verknüpfung von Vorhabendurchführung und Evaluierung in die Untersuchung einbezogen werden.
Als Ausgangspunkt für die Evaluierung erarbeitete das Evaluationsteam für die Gesamtstrategie der Transformationspartnerschaften ein Wirkungsmodell, in dem sowohl die vom AA intendierten Ziele als auch mögliche Kontextfaktoren aufgeführt wurden. Zusätzlich wurden für die Schwerpunkte (Rechtsstaatsförderung, Förderung der Zivilgesellschaft) Wirkungsmodelle erarbeitet, die in das Wirkungsgefüge der Gesamtstrategie integriert wurden. Methodisch wurden sowohl quantitative als auch qualitative Methoden zur Datenerhebung in Deutschland und vor Ort angewandt. Die Datenanalyse vereinte deskriptive Statistik mit qualitativer Inhaltsanalyse.
Evaluierung und Beratung des Projekts „Digitale Politische Bildung und Beratung“
Vor dem Hintergrund der zunehmenden Digitalisierung sämtlicher gesellschaftlicher Bereiche hat die Friedrich-Ebert-Stiftung (FES), deren zentrale Aufgabe die politische Bildung und Beratung ist, das interne Projekt „Digitale Bildung und Beratung & FES digital“ ins Leben gerufen. Es zielt darauf ab, digitale Formate im Bildungs- und Beratungsangebot der FES zu verankern.
Die FES hat schmidt evaluation und die CEval GmbH mit der Durchführung einer begleitenden Evaluation des Projekts beauftragt, welche zur Klärung der Projektziele und -indikatoren sowie zu jenen der einzelnen digitalen Formate beitragen und die Zielerreichung fortlaufend überprüfen sollte.
Methodisch stützt sich die Evaluation auf die Auswertung vorhandener Sekundärdaten, auf ein Benchmarking bezüglich geeigneter Zielindikatoren und Sollwerte sowie auf die Durchführung einer Baseline-, Zwischen- und Abschlusserhebung mittels Online-Fragebögen und onlinebasierten Self-Assessments zum jeweiligen Stand der Digitalisierung der politischen Bildungsangebote.
Evaluation der Präventionskampagne „Mach Dein Passwort stark!“
Mit einem Erlass beauftragte das Ministerium des Innern Nordrhein-Westfalen (IM NRW) im Januar 2019 das Landeskriminalamt NRW (LKA NRW) mit der Entwicklung einer Präventions- und Öffentlichkeitskampagne zur Bekämpfung von Cybercrime. Ziel der Kampagne war es, die Bevölkerung in NRW im sicheren Umgang mit digitalen Endgeräten zu stärken und dadurch Tatgelegenheiten für Cybercrime im weiteren Sinne zu reduzieren und die Arbeit der Täterinnen und Täter zu erschweren. Die crossmediale Kampagne „Mach Dein Passwort stark!“ wurde im Oktober 2020 gestartet.
Die CEval GmbH wurde für die Kampagne mit einer begleitend angelegten Evaluation mit den beiden Teilbereichen Prozess- und Wirkungsevaluation beauftragt. Ziel der Studie war es, den Umsetzungsprozess sowie die Wirksamkeit der Kampagne „Mach Dein Passwort stark!“ zu bewerten und aufbauend auf diesen Ergebnissen Schlussfolgerungen und Empfehlungen für künftige polizeiliche Präventionskampagnen abzuleiten.
Die Evaluation basierte auf einem breiten Mix aus qualitativen und quantitativen Datenerhebungen, in die alle an der Konzeption und Umsetzung der Kampagne beteiligten Akteure sowie die Zielgruppen eingebunden wurden. Das Design beinhaltete auch eine experimentelle Versuchsanordnung zur vergleichenden Wirkungsevaluation der verschiedenen Komponenten der Kampagne. Im Rahmen der Datenauswertungen wurden deskriptive und inferenzstatistische Verfahren sowie qualitative Inhaltsanalysen realisiert.
Evaluation des Programms „Mentoring Hessen – Frauen in Wissenschaft und Wirtschaft“
Mentoring Hessen bietet eine europaweit einmalige Struktur der aufbauenden Förderung für junge Frauen in den Übergangsphasen ihrer Karriere in Wissenschaft und Wirtschaft. Die vier Förderlinien ProCareer.MINT, ProCareer.Doc, ProAcademia und ProProfessur richten sich an Studentinnen der MINT-Fächer sowie fachübergreifend an Doktorandinnen, Postdocs und angehende Professorinnen. Die Förderung umfasst die drei klassischen Säulen Mentoring, Qualifizierungs- und Networkingangebote.
Ziel der Evaluation war es, die Umsetzung des Konzepts und Organisationsmodells von Mentoring Hessen zu analysieren, um aufbauend auf den Befunden Empfehlungen für die optimale Weiterentwicklung des Programms zu erarbeiten. Die Evaluation hat dabei zwei Analyseperspektiven eingenommen: 1. Analyse der Konzeption, Umsetzung und Zielerreichung von Mentoring Hessen: Evaluation der Programmkonzeption und -umsetzung, Bewertung der Zielerreichung und Wirksamkeit, Ableitung von Empfehlungen zur Optimierung von Konzeption, Umsetzung und Zielerreichung; 2. Analyse des Zusammenwirkens der Akteursgruppen im Verbundprojekt Mentoring Hessen: Analyse der Struktur und ihrer Funktionalität sowie Bewertung des Zusammenwirkens der verschiedenen Akteursgruppen, Ableitung von Empfehlungen zur Optimierung von Organisationsstruktur und Zusammenarbeit.
Die Datenerhebung kombinierte eine Dokumentenanalyse mit einer umfassenden Sekundäranalyse von bereits vorhanden Daten aus Erhebungen bei den Zielgruppen, leitfadengestützten Interviews und Gruppendiskussionen. Die Datenanalyse vereinte deskriptive Statistik und qualitative Inhaltsanalyse.
Evaluation des Projektes „Digital Leadership“ der Führungsakademie Baden-Württemberg
Seit März 2018 bietet die Führungsakademie Baden-Württemberg (FüAK) das Programm „Digital Leadership“ an. Das Programm umfasst unterschiedliche Fortbildungsformate zur Förderung „digitaler Kompetenzen“ von Führungskräften der Verwaltungen des Landes Baden-Württemberg. Ziel ist es, diese Führungskräfte auf die Anforderungen des Digitalen Wandels vorzubereiten, sie miteinander zu vernetzen und mit den erforderlichen Kompetenzen auszustatten, damit sie in ihren Institutionen den digitalen Wandel vorantreiben und gestalten können. Zu den Formaten des Programms zählen fachliche Fortbildungen (z.B. Programmieren, Design Thinking), Netzwerkveranstaltungen, Learning Journeys zu innovativen Unternehmen und themenspezifische Fokusgruppen. Gegenstand der Evaluation waren die unterschiedlichen Fortbildungsformate des Programms. Diese wurden hinsichtlich ihrer Wirkungen evaluiert. Der Fokus lag dabei auf der Outcome-Ebene, also auf den kurz- und mittelfristigen Wirkungen der verschiedenen Veranstaltungen. Dazu wurde im Sinne des partizipativen Evaluationsansatzes der CEval GmbH gemeinsam mit dem Projektteam eine Wirkungslogik erarbeitet. Die Wirkungen wurden im Rahmen der Evaluation mithilfe eines Multimethodenansatzes überprüft. Zum einen wurden Teilnehmerfragebögen entwickelt und zu zwei Zeitpunkten, am Veranstaltungsende und nach einer definierten Wirkungsphase, eingesetzt. Zum anderen wurden Interviews mit unterschiedlichen Stakeholdergruppen geführt, um so tiefergehende Einschätzungen zu relevanten Aspekten des Programms zu erhalten. Auf diese Weise konnten die Vorteile beider Datenerhebungsmethoden kombiniert und zur Bewertung der Fortbildungsformate genutzt werden. Auf Basis der Erkenntnisse wurden Empfehlungen zur Weiterentwicklung und Optimierung des Fortbildungsprogramms entwickelt.
Evaluation der im Jahr 2019 geförderten Flüchtlingsprojekte der Beauftragten der Bundesregierung für Migration, Flüchtlinge und Integration
Im Jahr 2019 förderte die Beauftragte der Bundesregierung für Migration, Flüchtlinge und Integration 25 Flüchtlingsprojekte in den Förderbereichen Stärkung des Ehrenamtes, Empowerment und Gewaltprävention sowie politische und gesellschaftliche Teilhabe. Ziel der Förderung war es, zu einer verbesserten gesellschaftlichen Integration und Teilhabe von Geflüchteten in Deutschland beizutragen.
Aufgabe der Evaluation war es, die Zielerreichung, Wirksamkeit und Wirtschaftlichkeit der geförderten Projekte zu beurteilen und Empfehlungen für zukünftige Förderungen abzuleiten. Gleichzeitig sollten die geförderten Projekte beim Aufbau und der Umsetzung eines wirkungsorientierten Monitorings ihrer Projekte unterstützt werden. Die Evaluation war als begleitende Evaluation mit formativen und summativen Elementen angelegt und beinhaltete eine Capacity Building Komponente zum wirkungsorientierten Monitoring. In methodischer Hinsicht wurde ein Mix aus qualitativen und quantitativen Erhebungs- und Auswertungsmethoden miteinander kombiniert. Unter anderem wurden eine Dokumentenanalyse, Leitfadeninterviews, Fokusgruppendiskussionen sowie eine Online-Befragung realisiert.
Faktoren für eine erfolgreiche Berufsbildungszusammenarbeit mit der Volksrepublik China (efach) – ein Vergleich staatlicher, zivilgesellschaftlicher und privatwirtschaftlicher Konzepte
Im Forschungsprojekt „Faktoren für eine erfolgreiche Berufsbildungszusammenarbeit mit der Volksrepublik China (efach) – ein Vergleich staatlicher, zivilgesellschaftlicher und privatwirtschaftlicher Konzepte“ sollte erstmals untersucht werden, ob in bisherigen Forschungsarbeiten identifizierte und zu einem Schlüsselgrößenmodell zusammengeführte Erfolgsfaktoren internationaler Berufsbildungskooperationen auch für Kooperationen außerhalb der Entwicklungszusammenarbeit, im privatwirtschaftlichen Bereich und in China gelten. Aus der quantitativen und qualitativen Untersuchung staatlicher, zivilgesellschaftlicher und privatwirtschaftlicher Berufsbildungskooperationen wurden allgemeine Handlungsempfehlungen generiert und einzelne Projekte oder Maßnahmen als Best-Practice-Beispiele herausgestellt. Tagungen und Publikationen beförderten eine umfassende Dissemination, Diskussion und Nutzung der gewonnenen Erkenntnisse in der internationalen Berufsbildungsforschung und -praxis.