International consultancy to conduct mapping of Early Childhood Care Development and Education (ECCDE) Centres in Eswatini
Ziel dieses Auftrags war die Unterstützung des Ministeriums für Bildung und Ausbildung in Eswatini bei der Durchführung einer Bestandsaufnahme aller frühkindlichen Betreuungs-, Entwicklungs- und Bildungsprogramme (Early Childhood Care and Development and Education, ECCDE). Das Mapping wurde für alle Zentren durchgeführt, die ECCDE-Dienste anboten (formell und informell), einschließlich der detaillierten Erfassung wichtiger Informationen über Standort, Einschreibung, Infrastruktur und die Art der angebotenen Dienstleistungen. Die Ergebnisse des ECCDE-Mappings sollten in die Entwicklung des Strategieplans für den Bildungssektor 2022 – 2034 einfließen und unter anderem die Verbesserung des Zugangs und der Qualität der ECCDE-Dienste im ganzen Land fördern.
CEval war für die Digitalisierung des Fragebogens mit Hilfe der Software KoboCollect, die Datenbereinigung und die statistische Analyse verantwortlich.
Begleitende Zwischenevaluation der „Palestinian-German Science Bridge“ (PGSB)
Das Programm „Palestinian German Science Bridge“ ist ein vom Bundesministerium für Bildung und Forschung (BMBF) finanziertes Pilotprojekt, welches gemeinsam vom Forschungszentrum Jülich und der „Palestinian Academy for Science and Technology“ (PALAST) umgesetzt wird und auf die Etablierung einer langfristen Ausbildungs- und Forschungskooperation zwischen dem Forschungszentrum und den palästinensischen Universitäten abzielt. Das Programm vereint hierfür die Mobilität von Studierenden und (Nachwuchs-)Wissenschaftler*innen, den wissenschaftlichen Austausch von Forscher*innen, die Unterstützung von Forschungskooperationen und die Reintegration palästinensischer Forschender in den palästinensischen Forschungssektor.
Das Forschungszentrum Jülich hat die CEval GmbH damit beauftragt, das Forschungszentrum hinsichtlich der Konzeption einer Mid-Term Evaluation des Programms zu beraten sowie bei deren Durchführung zu unterstützen. Die Evaluation sollte die kurz- bis mittelfristigen Ergebnisse des Programms beurteilen sowie die Aussichten der langfristigen Zielerreichung. Ziel der Evaluation war es des Weiteren, Verbesserungspotenziale zur weiteren Optimierung des Programms zu identifizieren.
Methodisch basierte die Evaluation auf einem Methodenmix aus qualitativen und quantitativen Datenerhebungs- und -auswertungsmethoden. Die Datenerhebung kombinierte eine Dokumenten- und Sekundärdatenanalyse mit leitfadengestützten Interviews sowie teilstandardisierten Online-Befragungen der Stakeholder des Projekts. Die Datenanalyse vereinte deskriptive Statistik und qualitative Inhaltsanalyse. Aufgrund der COVID-19 Pandemie war die Evaluation als Remote-Evaluation konzipiert.
Alumni-Befragung der European School of Materials (EUSMAT)
Die European School of Materials (EUSMAT) der Universität des Saarlandes bietet verschiedene internationale Studiengänge auf Bachelor-, Master- und Doktorandenniveau an. Um mit den Alumni dieser Studienangebote in Kontakt zu bleiben, engagiert sich EUSMAT zunehmend im Bereich der Alumni-Arbeit.
Zur Überprüfung der Passgenauigkeit der bisherigen Alumni-Aktivitäten sowie zur Identifikation der Erwartungen und Bedarfe der Alumni in diesem Bereich, wurde die CEval GmbH von EUSMAT mit der Konzeption und Durchführung einer Alumni-Befragung beauftragt. Ziel war es, eine Datenbasis für den weiteren Ausbau und die Optimierung der Alumni-Arbeit von EUSMAT zu schaffen.
In methodischer Hinsicht wurden hierfür eine teilstandardisierte Befragung sowie Fokusgruppendiskussionen unter EUSMAT-Alumni konzipiert und durchgeführt.
Ressortgemeinsame strategische Evaluierung des AA- und des BMZ-Engagements in Irak
Die Bundesregierung beabsichtigt, im Rahmen ihres Krisenengagements in Irak eine weitere Verankerung von Monitoring und Evaluierung als Instrumente des Lernens und der Qualitätssicherung, der Rechenschaftslegung und der strategischen Steuerung. In diesem Kontext wurde eine ressortgemeinsame Evaluierung des Irak-Engagements des Auswärtigen Amtes (AA) und des Bundesministeriums für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) durchgeführt. Diese sollte gleichzeitig als Pilotvorhaben und möglichst als Modell für ressortgemeinsame Evaluierungen beider Häuser in relevanten Handlungsfeldern und an ihren Schnittstellen fungieren. Hauptziel dieser ressortgemeinsamen Evaluierung war das gemeinsame institutionelle Lernen. Die AA-Komponente der Evaluation wurde von einem Konsortium unter Federführung der GFA Consulting Group realisiert, an dem die CEval GmbH beteiligt war; die BMZ-Komponente durch das Deutsche Evaluierungsinstitut (DEval). Beide Evaluationsteams arbeiteten in einer Arbeitsgemeinschaft eng zusammen.
Ziel der Evaluierung war es, eine unabhängige und umfassende Analyse und Bewertung des Engagements der beiden Ressorts vorzunehmen, um Erkenntnisse für die (gemeinsame) Steuerung zu gewinnen und zu nutzen. Durch die Evaluierung wurden Erkenntnisse über Relevanz, Effektivität und übergeordnete Wirkungen, Effizienz, Nachhaltigkeit bzw. Anschlussfähigkeit sowie Koordination, Kohärenz und Komplementarität des Irak-Engagements beider Ressorts gewonnen. Weiterhin hat die Evaluierung Handlungsempfehlungen für eine Optimierung des Gesamtengagements und einzelner Maßnahmen, Strukturen und Prozesse geliefert, um das laufende Portfolio ggf. nachzusteuern. Schließlich wurden aus dem AA-BMZ Engagement in Irak Lernerfahrungen für ein ähnliches Engagement in anderen Krisenkontexten identifiziert. Die Evaluierung diente auch der begleitenden bzw. abschließenden Erfolgskontrolle des Länderportfolios gemäß Bundeshaushaltsordnung.
Methodisch basierte die Evaluation auf einem breiten Mix aus qualitativen und quantitativen Datenerhebungs- und Auswertungsmethoden. Die Datenerhebungen wurden aufgrund pandemiebedingter Reisebeschränkungen durch das Konsortium sowohl in Deutschland als auch im Irak remote realisiert bzw. gesteuert.
Entwicklung eines Wirkungsgefüges „Resilienz in der Strategischen Kommunikation“
Der digitale Wandel hat auch die Anforderungen an die Außenpolitik und ihre Kommunikation stark verändert. War sie früher vor allem Sache des Außenministers und des weltweiten Netzwerks an Auslandsvertretungen, hat Außenpolitik heute viele staatliche und nichtstaatliche Akteure. Zugleich hat der globale Wettbewerb um Aufmerksamkeit durch die Digitalisierung sowie auch durch zahlreiche neue Player und Allianzen eine neue Dimension erreicht. Sie hat sich aber auch durch massive Verlagerung der Kommunikation in die Sozialen Medien verändert. Strategische Kommunikation ist daher heute nicht nur ein anderes Kommunizieren in anderen sozialen Räumen, sondern zugleich eine Auseinandersetzung mit Herausforderungen wie Desinformation, Propaganda oder Hasskriminalität und einem veränderten Begriff von Öffentlichkeit, von freier Meinungsäußerung und ihren Gefährdungen.
Ziel des Auftrags war es, eine Entscheidungsgrundlage für die Projektauswahl zur Verfügung zu stellen, welche auf eindeutigen und vorab definierten Kriterien dazu basiert, wie gut sich ein vorgeschlagenes Projekt in die Gesamtlogik der Resilienzförderung einfügt sowie eine Grundlage für die Evaluierung des deutschen Engagements im Resilienzbereich zu schaffen. Dies erfolgte in Form der Erarbeitung eines Wirkungsgefüges mit zugehörigen wirkungsorientierten Indikatoren, die in einem Begleitbericht dokumentiert und kommunikationstheoretisch eingebettet wurden.
Pilotvorhaben strategische Evaluierung der Transformationspartnerschaften mit Jordanien, Marokko und Tunesien
Die CEval GmbH führte gemeinsam mit der GFA Consulting Group im Rahmen einer Arbeitsgemeinschaft eine strategische Evaluierung der seit 2011 bestehenden Transformationspartnerschaften des Auswärtigen Amtes (AA) als Teil der Außenpolitik der deutschen Bundesregierung zur Unterstützung von Demokratisierungsprozessen in arabischen Ländern durch. Der Schwerpunkt der Evaluierung lag auf den Bereichen Rechtsstaatsförderung, Förderung der Zivilgesellschaft und Auswärtige Kultur- und Bildungspolitik sowie auf den drei Ländern Jordanien, Marokko und Tunesien.
Das Pilotvorhaben der strategischen Evaluierung stand im Kontext des längerfristigen Ziels eines Ausbaus der Nutzung strategischer Evaluierung als Steuerungsinstrument und der Verankerung institutionellen Lernens im AA. Neben der Untersuchung tatsächlich angewendeter Verfahren und Methoden zur strategischen Schwerpunktsetzung sollten daher auch Ausbaumöglichkeiten der strategischen Steuerung und Verbesserungsmöglichkeiten bei der Verknüpfung von Vorhabendurchführung und Evaluierung in die Untersuchung einbezogen werden.
Als Ausgangspunkt für die Evaluierung erarbeitete das Evaluationsteam für die Gesamtstrategie der Transformationspartnerschaften ein Wirkungsmodell, in dem sowohl die vom AA intendierten Ziele als auch mögliche Kontextfaktoren aufgeführt wurden. Zusätzlich wurden für die Schwerpunkte (Rechtsstaatsförderung, Förderung der Zivilgesellschaft) Wirkungsmodelle erarbeitet, die in das Wirkungsgefüge der Gesamtstrategie integriert wurden. Methodisch wurden sowohl quantitative als auch qualitative Methoden zur Datenerhebung in Deutschland und vor Ort angewandt. Die Datenanalyse vereinte deskriptive Statistik mit qualitativer Inhaltsanalyse.
Evaluierung und Beratung des Projekts „Digitale Politische Bildung und Beratung“
Vor dem Hintergrund der zunehmenden Digitalisierung sämtlicher gesellschaftlicher Bereiche hat die Friedrich-Ebert-Stiftung (FES), deren zentrale Aufgabe die politische Bildung und Beratung ist, das interne Projekt „Digitale Bildung und Beratung & FES digital“ ins Leben gerufen. Es zielt darauf ab, digitale Formate im Bildungs- und Beratungsangebot der FES zu verankern.
Die FES hat schmidt evaluation und die CEval GmbH mit der Durchführung einer begleitenden Evaluation des Projekts beauftragt, welche zur Klärung der Projektziele und -indikatoren sowie zu jenen der einzelnen digitalen Formate beitragen und die Zielerreichung fortlaufend überprüfen sollte.
Methodisch stützt sich die Evaluation auf die Auswertung vorhandener Sekundärdaten, auf ein Benchmarking bezüglich geeigneter Zielindikatoren und Sollwerte sowie auf die Durchführung einer Baseline-, Zwischen- und Abschlusserhebung mittels Online-Fragebögen und onlinebasierten Self-Assessments zum jeweiligen Stand der Digitalisierung der politischen Bildungsangebote.
International Program for Development Evaluation Training (IPDET)
Das International Program for Development Evaluation Training (IPDET) ist eines der führenden Trainingsprogramme im Bereich der Evaluierung von Entwicklungszusammenarbeit. Zwischen 2018 und 2024 würde es gemeinsam vom Zentrum für Weiterbildung an der Universität Bern (Schweiz), dem Centrum für Evaluation an der Universität des Saarlandes (Deutschland) und der Independent Evaluation Group der Weltbank durchgeführt. Seit 2021 ist IPDET ein wichtiger Implementierungspartner der Global Evaluation Initiative (GEI) der Weltbank.
Ziel von IPDET ist es Praktizierenden im Bereich der Evaluierung die notwendigen Fertigkeiten zu vermitteln, um Richtlinien, Programme und Projekte auf lokaler, nationaler, regionaler und globaler Ebene zu evaluieren, sowie Führungskräften die nötigen Kenntnisse, um Evaluierungen zu beauftragen und Evaluierungsergebnisse für Entscheidungsprozesse zu nutzen. Weitere Infos zu IPDET finden Sie auf der Website: https://ipdet.org/.
Pilotprojekt zur gemeinsamen Spieltagsnachbereitung im Profifußball
Die Daniel Nivel Stiftung verfolgt das Ziel, das Verhältnis zwischen Fußballfans und Polizei zu verbessern. Die Stiftung kooperiert zur Erreichung dieses Ziels mit nationalen Fußballverbänden und hat 2018 die finanziellen Mittel für zwei Pilotprojekte freigegeben, eines mit dem französischen Fußballverband (FFF) und eines mit dem Deutschen Fußball-Bund (DFB). Auf deutscher Seite wurde in sog. Zukunftswerkstätten die Idee entwickelt, eine gemeinsame Spieltagsnachbereitung zu etablieren, in deren Rahmen ein Dialog zwischen Fußballfans und Polizei geschaffen wird. So sollen Konflikte nach Spieltagen aufgearbeitet und Lösungsvorschläge für zukünftige Ereignisse entwickelt werden.
Der DFB hatte die CEval GmbH mit der wissenschaftlichen Begleitung dieses Projektes beauftragt. Die Aufgaben der CEval GmbH reichten von der Konzeption des Projektes (Ablauf der Nachbereitung, Auswahl von Pilotstandorten, etc.) über die Entwicklung geeigneter Instrumente zur Fanbefragung und Formate zur Spieltagsnachbereitung bis zur Unterstützung der Akteure bei der praktischen Durchführung und Moderation der Nachbereitung. Dabei wurden unterschiedliche Abläufe und Formate zur Spieltagsnachbereitung getestet, um im Anschluss an die Pilotphase ein anwendungsfähiges Konzept vorlegen zu können. Alle Arbeitsschritte erfolgten in enger Zusammenarbeit mit dem Projektteam des DFB. Auch mit der Koordinationsstelle Fanprojekte (KOS) und der Deutschen Fußball Liga (DFL) gibt es einen regelmäßigen, projektbezogenen Austausch. Die Projektlaufzeit ist von Januar 2019 bis Mai 2020 angesetzt. In der ersten Jahreshälfte 2019 erfolgte die detaillierte Projektkonzeption und -ausarbeitung inkl. Arbeitstreffen und Workshops mit allen beteiligten Akteuren. In der zweiten Jahreshälfte, während der Hinrunde der Saison 2019/2020, wurde das entwickelte Konzept zur Spieltagsnachbereitung in Zusammenarbeit mit ausgewählten Pilotstandorten aus dem Profifußball durchgeführt und getestet. Zentrale Partner waren dabei die Fanprojekte der entsprechenden Standorte. Im Anschluss folgten eine Bewertung und ggf. Anpassung des Konzepts zur Spieltagsnachbereitung sowie die Dokumentation des Projektes in Form eines Abschlussberichtes.
Evaluation des Projektes „Digital Leadership“ der Führungsakademie Baden-Württemberg
Seit März 2018 bietet die Führungsakademie Baden-Württemberg (FüAK) das Programm „Digital Leadership“ an. Das Programm umfasst unterschiedliche Fortbildungsformate zur Förderung „digitaler Kompetenzen“ von Führungskräften der Verwaltungen des Landes Baden-Württemberg. Ziel ist es, diese Führungskräfte auf die Anforderungen des Digitalen Wandels vorzubereiten, sie miteinander zu vernetzen und mit den erforderlichen Kompetenzen auszustatten, damit sie in ihren Institutionen den digitalen Wandel vorantreiben und gestalten können. Zu den Formaten des Programms zählen fachliche Fortbildungen (z.B. Programmieren, Design Thinking), Netzwerkveranstaltungen, Learning Journeys zu innovativen Unternehmen und themenspezifische Fokusgruppen. Gegenstand der Evaluation waren die unterschiedlichen Fortbildungsformate des Programms. Diese wurden hinsichtlich ihrer Wirkungen evaluiert. Der Fokus lag dabei auf der Outcome-Ebene, also auf den kurz- und mittelfristigen Wirkungen der verschiedenen Veranstaltungen. Dazu wurde im Sinne des partizipativen Evaluationsansatzes der CEval GmbH gemeinsam mit dem Projektteam eine Wirkungslogik erarbeitet. Die Wirkungen wurden im Rahmen der Evaluation mithilfe eines Multimethodenansatzes überprüft. Zum einen wurden Teilnehmerfragebögen entwickelt und zu zwei Zeitpunkten, am Veranstaltungsende und nach einer definierten Wirkungsphase, eingesetzt. Zum anderen wurden Interviews mit unterschiedlichen Stakeholdergruppen geführt, um so tiefergehende Einschätzungen zu relevanten Aspekten des Programms zu erhalten. Auf diese Weise konnten die Vorteile beider Datenerhebungsmethoden kombiniert und zur Bewertung der Fortbildungsformate genutzt werden. Auf Basis der Erkenntnisse wurden Empfehlungen zur Weiterentwicklung und Optimierung des Fortbildungsprogramms entwickelt.