Alumni-Befragung der European School of Materials (EUSMAT)
Die European School of Materials (EUSMAT) der Universität des Saarlandes bietet verschiedene internationale Studiengänge auf Bachelor-, Master- und Doktorandenniveau an. Um mit den Alumni dieser Studienangebote in Kontakt zu bleiben, engagiert sich EUSMAT zunehmend im Bereich der Alumni-Arbeit.
Zur Überprüfung der Passgenauigkeit der bisherigen Alumni-Aktivitäten sowie zur Identifikation der Erwartungen und Bedarfe der Alumni in diesem Bereich, wurde die CEval GmbH von EUSMAT mit der Konzeption und Durchführung einer Alumni-Befragung beauftragt. Ziel war es, eine Datenbasis für den weiteren Ausbau und die Optimierung der Alumni-Arbeit von EUSMAT zu schaffen.
In methodischer Hinsicht wurden hierfür eine teilstandardisierte Befragung sowie Fokusgruppendiskussionen unter EUSMAT-Alumni konzipiert und durchgeführt.
International Program for Development Evaluation Training (IPDET)
Das International Program for Development Evaluation Training (IPDET) ist eines der führenden Trainingsprogramme im Bereich der Evaluierung von Entwicklungszusammenarbeit. Zwischen 2018 und 2024 würde es gemeinsam vom Zentrum für Weiterbildung an der Universität Bern (Schweiz), dem Centrum für Evaluation an der Universität des Saarlandes (Deutschland) und der Independent Evaluation Group der Weltbank durchgeführt. Seit 2021 ist IPDET ein wichtiger Implementierungspartner der Global Evaluation Initiative (GEI) der Weltbank.
Ziel von IPDET ist es Praktizierenden im Bereich der Evaluierung die notwendigen Fertigkeiten zu vermitteln, um Richtlinien, Programme und Projekte auf lokaler, nationaler, regionaler und globaler Ebene zu evaluieren, sowie Führungskräften die nötigen Kenntnisse, um Evaluierungen zu beauftragen und Evaluierungsergebnisse für Entscheidungsprozesse zu nutzen. Weitere Infos zu IPDET finden Sie auf der Website: https://ipdet.org/.
Pilotprojekt zur gemeinsamen Spieltagsnachbereitung im Profifußball
Die Daniel Nivel Stiftung verfolgt das Ziel, das Verhältnis zwischen Fußballfans und Polizei zu verbessern. Die Stiftung kooperiert zur Erreichung dieses Ziels mit nationalen Fußballverbänden und hat 2018 die finanziellen Mittel für zwei Pilotprojekte freigegeben, eines mit dem französischen Fußballverband (FFF) und eines mit dem Deutschen Fußball-Bund (DFB). Auf deutscher Seite wurde in sog. Zukunftswerkstätten die Idee entwickelt, eine gemeinsame Spieltagsnachbereitung zu etablieren, in deren Rahmen ein Dialog zwischen Fußballfans und Polizei geschaffen wird. So sollen Konflikte nach Spieltagen aufgearbeitet und Lösungsvorschläge für zukünftige Ereignisse entwickelt werden.
Der DFB hatte die CEval GmbH mit der wissenschaftlichen Begleitung dieses Projektes beauftragt. Die Aufgaben der CEval GmbH reichten von der Konzeption des Projektes (Ablauf der Nachbereitung, Auswahl von Pilotstandorten, etc.) über die Entwicklung geeigneter Instrumente zur Fanbefragung und Formate zur Spieltagsnachbereitung bis zur Unterstützung der Akteure bei der praktischen Durchführung und Moderation der Nachbereitung. Dabei wurden unterschiedliche Abläufe und Formate zur Spieltagsnachbereitung getestet, um im Anschluss an die Pilotphase ein anwendungsfähiges Konzept vorlegen zu können. Alle Arbeitsschritte erfolgten in enger Zusammenarbeit mit dem Projektteam des DFB. Auch mit der Koordinationsstelle Fanprojekte (KOS) und der Deutschen Fußball Liga (DFL) gibt es einen regelmäßigen, projektbezogenen Austausch. Die Projektlaufzeit ist von Januar 2019 bis Mai 2020 angesetzt. In der ersten Jahreshälfte 2019 erfolgte die detaillierte Projektkonzeption und -ausarbeitung inkl. Arbeitstreffen und Workshops mit allen beteiligten Akteuren. In der zweiten Jahreshälfte, während der Hinrunde der Saison 2019/2020, wurde das entwickelte Konzept zur Spieltagsnachbereitung in Zusammenarbeit mit ausgewählten Pilotstandorten aus dem Profifußball durchgeführt und getestet. Zentrale Partner waren dabei die Fanprojekte der entsprechenden Standorte. Im Anschluss folgten eine Bewertung und ggf. Anpassung des Konzepts zur Spieltagsnachbereitung sowie die Dokumentation des Projektes in Form eines Abschlussberichtes.
Evaluation des Projektes „Digital Leadership“ der Führungsakademie Baden-Württemberg
Seit März 2018 bietet die Führungsakademie Baden-Württemberg (FüAK) das Programm „Digital Leadership“ an. Das Programm umfasst unterschiedliche Fortbildungsformate zur Förderung „digitaler Kompetenzen“ von Führungskräften der Verwaltungen des Landes Baden-Württemberg. Ziel ist es, diese Führungskräfte auf die Anforderungen des Digitalen Wandels vorzubereiten, sie miteinander zu vernetzen und mit den erforderlichen Kompetenzen auszustatten, damit sie in ihren Institutionen den digitalen Wandel vorantreiben und gestalten können. Zu den Formaten des Programms zählen fachliche Fortbildungen (z.B. Programmieren, Design Thinking), Netzwerkveranstaltungen, Learning Journeys zu innovativen Unternehmen und themenspezifische Fokusgruppen. Gegenstand der Evaluation waren die unterschiedlichen Fortbildungsformate des Programms. Diese wurden hinsichtlich ihrer Wirkungen evaluiert. Der Fokus lag dabei auf der Outcome-Ebene, also auf den kurz- und mittelfristigen Wirkungen der verschiedenen Veranstaltungen. Dazu wurde im Sinne des partizipativen Evaluationsansatzes der CEval GmbH gemeinsam mit dem Projektteam eine Wirkungslogik erarbeitet. Die Wirkungen wurden im Rahmen der Evaluation mithilfe eines Multimethodenansatzes überprüft. Zum einen wurden Teilnehmerfragebögen entwickelt und zu zwei Zeitpunkten, am Veranstaltungsende und nach einer definierten Wirkungsphase, eingesetzt. Zum anderen wurden Interviews mit unterschiedlichen Stakeholdergruppen geführt, um so tiefergehende Einschätzungen zu relevanten Aspekten des Programms zu erhalten. Auf diese Weise konnten die Vorteile beider Datenerhebungsmethoden kombiniert und zur Bewertung der Fortbildungsformate genutzt werden. Auf Basis der Erkenntnisse wurden Empfehlungen zur Weiterentwicklung und Optimierung des Fortbildungsprogramms entwickelt.
Evaluation der im Jahr 2019 geförderten Flüchtlingsprojekte der Beauftragten der Bundesregierung für Migration, Flüchtlinge und Integration
Im Jahr 2019 förderte die Beauftragte der Bundesregierung für Migration, Flüchtlinge und Integration 25 Flüchtlingsprojekte in den Förderbereichen Stärkung des Ehrenamtes, Empowerment und Gewaltprävention sowie politische und gesellschaftliche Teilhabe. Ziel der Förderung war es, zu einer verbesserten gesellschaftlichen Integration und Teilhabe von Geflüchteten in Deutschland beizutragen.
Aufgabe der Evaluation war es, die Zielerreichung, Wirksamkeit und Wirtschaftlichkeit der geförderten Projekte zu beurteilen und Empfehlungen für zukünftige Förderungen abzuleiten. Gleichzeitig sollten die geförderten Projekte beim Aufbau und der Umsetzung eines wirkungsorientierten Monitorings ihrer Projekte unterstützt werden. Die Evaluation war als begleitende Evaluation mit formativen und summativen Elementen angelegt und beinhaltete eine Capacity Building Komponente zum wirkungsorientierten Monitoring. In methodischer Hinsicht wurde ein Mix aus qualitativen und quantitativen Erhebungs- und Auswertungsmethoden miteinander kombiniert. Unter anderem wurden eine Dokumentenanalyse, Leitfadeninterviews, Fokusgruppendiskussionen sowie eine Online-Befragung realisiert.
Faktoren für eine erfolgreiche Berufsbildungszusammenarbeit mit der Volksrepublik China (efach) – ein Vergleich staatlicher, zivilgesellschaftlicher und privatwirtschaftlicher Konzepte
Im Forschungsprojekt „Faktoren für eine erfolgreiche Berufsbildungszusammenarbeit mit der Volksrepublik China (efach) – ein Vergleich staatlicher, zivilgesellschaftlicher und privatwirtschaftlicher Konzepte“ sollte erstmals untersucht werden, ob in bisherigen Forschungsarbeiten identifizierte und zu einem Schlüsselgrößenmodell zusammengeführte Erfolgsfaktoren internationaler Berufsbildungskooperationen auch für Kooperationen außerhalb der Entwicklungszusammenarbeit, im privatwirtschaftlichen Bereich und in China gelten. Aus der quantitativen und qualitativen Untersuchung staatlicher, zivilgesellschaftlicher und privatwirtschaftlicher Berufsbildungskooperationen wurden allgemeine Handlungsempfehlungen generiert und einzelne Projekte oder Maßnahmen als Best-Practice-Beispiele herausgestellt. Tagungen und Publikationen beförderten eine umfassende Dissemination, Diskussion und Nutzung der gewonnenen Erkenntnisse in der internationalen Berufsbildungsforschung und -praxis.
Evaluation der „Strategischen Kommunikation zu Flucht und Migration im Ausland“ des Auswärtigen Amts
Im Jahr 2016 initiierte das Auswärtige Amt (AA) eine neue Kommunikationsstrategie zu Flucht und Migration im Ausland. Diese setzt sich einerseits aus direkten Kommunikationsmaßnahmen wie einer eigenen Webseite und Informationen auf Social-Media-Kanälen zusammen und andererseits aus indirekter Kommunikationsarbeit durch Projektförderung von Partnerorganisationen. Ziel dieser Bemühungen ist es, zu einer besseren Informationsbasis zu Flucht und Migration im Ausland beizutragen und dabei humanitäre und völkerrechtliche Prinzipien zu stärken.
Aufgabe der Evaluation war es, die Zielerreichung, Wirksamkeit, Wirtschaftlichkeit und Nachhaltigkeit sowie die Impacts der geförderten Projekte und der direkten Kommunikationsangebote des AA zu bewerten und davon ausgehend Empfehlungen für zukünftige Förderungen und Strategieentwicklungen abzuleiten. Gleichzeitig sollten konzeptionelle Grundlagen zur künftigen Optimierung des wirkungsorientierten Monitorings aller Maßnahmen entwickelt werden. Die Evaluation enthielt summative und formative Elemente. Damit sollte die Evaluation einerseits das AA-interne Lernen im Bereich der Kommunikationsstrategie unterstützen und andererseits einer transparenten Rechenschaftslegung dienen.
Die Evaluation folgte einem theoriegeleiteten, partizipativen Ansatz, bei dem eine Vielzahl qualitativer und quantitativer Methoden der empirischen Sozialforschung angewandt und miteinander trianguliert wurden. Die Datenerhebungen umfassten Dokumenten- und Sekundäranalyse auf Projekt- und Programmebene, leitfadengestützte Telefoninterviews mit Zuständigen des AA, Feldstudien in Afghanistan, Irak und Nigeria, Expertengutachten, teilstandardisierte und experimentell angelegte Onlineerhebungen mit Projektpartnern und Zielgruppen sowie teilnehmende Beobachtung eines Austauschtreffens mit Vertretern der afrikanischen Diaspora.
Evaluation des „PROBONO Teacher Training“ Programms in Tansania
Das PROBONO Teacher Training Programm zielt darauf ab zur Verbesserung der Bildungsqualität in Tansania beizutragen, da in den landesweiten Abschlussprüfungen insbesondere in den MINT-Fächern starker Aufholbedarf besteht. Dies geschieht durch die Durchführung einer Reihe von berufsbegleitende Workshops über 4 Jahre hinweg, durch das Bereitstellen von Ausrüstung und Infrastruktur an den Partnerschulen und durch die Förderung eines Netzwerks von Bildungsakteuren.
Die Finale Evaluation richtete sich an den OECD-DAC Kriterien aus (Relevanz, Effektivität, Wirkung, Nachhaltigkeit) um Empfehlungen für die Ausrichtung der nächsten Projektphase zu gewinnen.
Die Evaluation bediente sich verschiedener Methoden und bezog neben Einzelinterviews mit Projektverantwortlichen, Projektpartnern und Schulleiter:innen durch Fokus Gruppen Diskussionen auch die Stimmen der Lehrer:innen, Schüler:innen und Trainer:innen ein. Eine umfangreiche Befragung aller teilnehmenden Lehrer:innen und Trainer ermöglichte eine vertiefende quantitative Bewertung.
Evaluierung des Projekts „Kinder in Flüchtlingsunterkünften schützen, fördern und beteiligen (Hamburg)“
Plan International Deutschland e.V. engagiert sich für die Umsetzung der internationalen Mindeststandards zum Schutz von Kindern in humanitären Krisen. Das Projekt „Kinder in Flüchtlingsunterkünften schützen, fördern und beteiligen“, das Plan International Deutschland e.V. zwischen Juli 2017 und Juni 2018 in zwei Flüchtlingsunterkünften in Hamburg umsetzte, zielte darauf ab, die Sicherheit der dort lebenden Kinder und Jugendlichen zu stärken, eine kinderfreundliche Umgebung zu schaffen und den Kinderschutz in den Flüchtlingsunterkünften sicherzustellen. Ziel der Maßnahmen war es, die Risiken für Kinder und Jugendliche soweit zu verringern, dass ihr Wohl gesichert ist. Dies geschah, indem ein positives Umfeld für Kinder und Jugendliche geschaffen wurde, in dem die Kinderrechte geachtet werden.
Übergeordnetes Ziel der Evaluation war es, das Projekt “ weitestgehend bilanzierend und damit summativ zu beurteilen. Zugleich wurden in der Evaluation, insbesondere angesichts der fortlaufenden Arbeit mit Kindern und Jugendlichen im Flüchtlingskontext, auch Optimierungspotentiale herausgearbeitet und Handlungsempfehlungen gegeben. Mit einem Schwerpunkt auf dem OECD/DAC-Evaluationskriterium der Effektivität hat die Evaluation aufgezeigt, in welchem Umfang das Projekt die gesetzten Ziele und Ergebnisse erreichen konnte und inwiefern die durchgeführten Aktivitäten zur Erreichung der Projektzielen angemessen waren.
Aus methodischer Sicht wurden ein partizipativer Evaluationsansatz sowie ein Multimethodenansatz verfolgt. Eine Kombination von unterschiedlichen Datenerhebungs- und Auswertungsmethoden trug den besonderen Erfordernissen des Evaluationsgegenstands und der Zielgruppe von Kindern und Jugendlichen Rechnung. Daher hat das Evaluationsteam leitfadengestützte Experteninterviews, Fokusgruppen und kreative Verfahren zur qualitativen Datenerhebung von Kindern angewendet.
Wissenschaftliche Begleitung einer Wirkungsanalyse des Projektes „egal war gestern – Richtung Nachhaltigkeit an beruflichen Schulen“
Der Landesbund für Vogelschutz in Bayern e.V. (LBV) führte im Schuljahr 2018/19 zum zweiten Mal das Projekt „egal war gestern & Richtung Nachhaltigkeit an beruflichen Schulen“ durch. Es zielte darauf ab, zu einer Mobilisierung der Jugend für Nachhaltigkeitsfragen beizutragen. Das Projekt richtete sich an Schüler:innen bayerischer beruflicher Schulen. Mit dem Projekt sollte ihre Aufmerksamkeit in dieser wichtigen Lebensphase der beruflichen Orientierung auf Nachhaltigkeitsthemen gelenkt und ihr Bewusstsein für entsprechende Themen gestärkt werden. Hierzu setzten die Schüler:innen eigenverantwortlich Projektideen für einen nachhaltigeren Schulalltag an ihren Schulen um. Das Projekt wurde einer Wirkungsanalyse unterzogen, welche im Rahmen einer begleitenden Evaluation gemeinsam von LBV und CEval GmbH durchgeführt wurde. Ziel war es zu ermitteln, ob die durch das Projekt angestrebten Wirkungen tatsächlich eintreten, ob sich also die Nachhaltigkeitseinstellungen und das -verhalten der teilnehmenden Schüler:innen verändern und ob es gelingt, das Thema Nachhaltigkeit noch besser an bayrischen beruflichen Schulen zu verankern. In methodischer Hinsicht wurde eine standardisierte Vorher-Nachher-Befragung der am Projekt teilnehmenden Schüler:innen (Interventionsgruppe) sowie einer Vergleichsgruppe durchgeführt. Zusätzlich wurden vor und nach dem Projekt leitfadengestützte Interviews mit dem die Projekte betreuenden Lehrpersonal geführt.