Begleitende Evaluation, Ex-Post und Schlussevaluation, Wirkungsevaluation
Projektstart: August 2020
Projektende: Dezember 2021
Evaluation der Präventionskampagne „Mach Dein Passwort stark!“
Mit einem Erlass beauftragte das Ministerium des Innern Nordrhein-Westfalen (IM NRW) im Januar 2019 das Landeskriminalamt NRW (LKA NRW) mit der Entwicklung einer Präventions- und [Mehr anzeigen]Mit einem Erlass beauftragte das Ministerium des Innern Nordrhein-Westfalen (IM NRW) im Januar 2019 das Landeskriminalamt NRW (LKA NRW) mit der Entwicklung einer Präventions- und Öffentlichkeitskampagne zur Bekämpfung von Cybercrime. Ziel der Kampagne war es, die Bevölkerung in NRW im sicheren Umgang mit digitalen Endgeräten zu stärken und dadurch Tatgelegenheiten für Cybercrime im weiteren Sinne zu reduzieren und die Arbeit der Täterinnen und Täter zu erschweren. Die crossmediale Kampagne "Mach Dein Passwort stark!" wurde im Oktober 2020 gestartet.
Die CEval GmbH wurde für die Kampagne mit einer begleitend angelegten Evaluation mit den beiden Teilbereichen Prozess- und Wirkungsevaluation beauftragt. Ziel der Studie war es, den Umsetzungsprozess sowie die Wirksamkeit der Kampagne "Mach Dein Passwort stark!" zu bewerten und aufbauend auf diesen Ergebnissen Schlussfolgerungen und Empfehlungen für künftige polizeiliche Präventionskampagnen abzuleiten.
Die Evaluation basierte auf einem breiten Mix aus qualitativen und quantitativen Datenerhebungen, in die alle an der Konzeption und Umsetzung der Kampagne beteiligten Akteure sowie die Zielgruppen eingebunden wurden. Das Design beinhaltete auch eine experimentelle Versuchsanordnung zur vergleichenden Wirkungsevaluation der verschiedenen Komponenten der Kampagne. Im Rahmen der Datenauswertungen wurden deskriptive und inferenzstatistische Verfahren sowie qualitative Inhaltsanalysen realisiert.
Management: Vera Hennefeld | Mitarbeit: Fabian OttoAuftraggeber: Landeskriminalamt Nordrhein-Westfalen
Begleitende Evaluation, Ex-Post und Schlussevaluation
Projektstart: Mai 2019
Projektende: Juli 2021
Externe Evaluation zur klimafreundlichen Gemeinschaftsverpflegung im Rahmen des Projektes MehrWertKonsum der Verbraucherzentrale NRW e.V.
Das Projekt "MehrWertKonsum & Mehr Wertschätzung von Lebensmitteln und begrenzten Ressourcen" der Verbraucherzentrale Nordrhein-Westfalen (VZ NRW) möchte einen verantwortungsvollen, zukunftsfähigen und klimaschonenden Konsum befördern und [Mehr anzeigen]Das Projekt "MehrWertKonsum & Mehr Wertschätzung von Lebensmitteln und begrenzten Ressourcen" der Verbraucherzentrale Nordrhein-Westfalen (VZ NRW) möchte einen verantwortungsvollen, zukunftsfähigen und klimaschonenden Konsum befördern und CO2-Emissionen reduzieren. Das übergeordnete Ziel des Projekts ist es, einen mittelbaren Beitrag zur Einsparung von Treibhausgasemissionen zu leisten. Der Weg zur Reduzierung von Treibhausgasemissionen führt in der Gemeinschaftsverpflegung unter anderem über weniger Speisereste und mehr vegetarische Gerichte mit saisonalen Lebensmitteln aus der Region und aus biologischem Anbau. Für Kitas, Schulen, Jugendherbergen und ihre Verpflegungsanbieter werden Informationen und Bildungsmaterialien verbreitet, Abfallmessungen und Analysen der Teller- und Ausgabereste durchgeführt und Verbesserungsvorschläge erarbeitet. Des Weiteren werden Menü- und Speisepläne geprüft und hinsichtlich der Attraktivität sowie des Klima- und Umweltschutzes optimiert. Schulen können zusätzlich für ihre Schüler(innen) partizipative Bildungsangebote und Aktionen erhalten. In den Jugendherbergen wird ein besonderes Augenmerk auf die Gästekommunikation gelegt, um die Akzeptanz der Maßnahmen zu erhöhen und ebenfalls zur Abfallvermeidung beizutragen. Das Projekt wird aus Mitteln des "Operationellen Programms Nordrhein-Westfalens für die Förderung von Investitionen in Wachstum und Beschäftigung aus dem Europäischen Fonds für regionale Entwicklung" (EFRE OP NRW) und des Ministeriums für Umwelt, Landwirtschaft, Natur- und Verbraucherschutz Nordrhein-Westfalen (Umweltministerium NRW) finanziert. Im Rahmen der Förderung des EFRE OP NRW muss bei ausgewählten Maßnahmen die Höhe der Treibhausgasreduzierung ermittelt werden (t CO2-Aquivalent/Jahr). Dies betrifft die zu evaluierenden Maßnahmen.
Darüber hinaus sollten folgende Ziele des Handlungsfelds "Klimafreundliche Gemeinschaftsverpflegung" evaluiert werden:
> Reduzierung von Lebensmittel- und Speiseabfällen
> Etablierung von klimafreundlichen und gesunden Verpflegungsangeboten
> Entwicklung eines erhöhten Bewusstseins und erhöhter Wertschätzung für Lebensmittel, klimafreundliche Ernährung und Lebensmittelabfälle
Im Rahmen der externen Evaluation des Projekts MehrWertKonsum sollte die Wirkung der Maßnahmen sowohl auf Outcome-Ebene (insbesondere verändertes Verhalten bei den Zielgruppen) als auch auf Impact-Ebene (Einsparung von Treibhausgasen) analysiert werden. Das Evaluationsteam aus CEval GmbH, schmidt Evaluation und EBP wendeten dazu einen komplexen Multimetmethodenansatz an, bei dem die Ergebnisse aus teilnehmender Beobachtung, telefonischen Leitfadeninterviews und schriftlichen (Online-)Befragungen in einer Weise mit den Inhalten des internen Monitoring des Projekts MehrWertKonsum verknüpft wurden, dass im Endeffekt die Berechnung der Einsparung von Treibhausgasen ermöglicht wurde.
Management: Hansjörg Gaus | Mitarbeit: Fabian OttoAuftraggeber: Verbraucherzentrale Nordrhein-Westfalen
Begleitende Evaluation
Projektstart: Juli 2020
Projektende: Mai 2021
Beschäftigtenbefragung zu Arbeitszeit und mobiler Arbeit
Die TU Darmstadt (TUD) verfolgt das Ziel, Arbeitszeitmodelle und Regelungen zur mobilen Arbeit zu entwickeln, die sich an den Bedürfnissen der Beschäftigten orientieren. Auf diese [Mehr anzeigen]Die TU Darmstadt (TUD) verfolgt das Ziel, Arbeitszeitmodelle und Regelungen zur mobilen Arbeit zu entwickeln, die sich an den Bedürfnissen der Beschäftigten orientieren. Auf diese Weise soll die Zufriedenheit der Beschäftigten mit der Gestaltung von Arbeitszeit und Arbeitsort gefördert werden. Zu diesem Zweck hat das Präsidium der TUD die CEval GmbH mit der Durchführung einer Beschäftigtenbefragung zu den Themen Arbeitszeit und mobile Arbeit beauftragt.
Thematisch wurden die Erhebungen so ausgerichtet, dass zum einen die gelebte Praxis zur Gestaltung der Arbeitszeit und Nutzung mobiler Arbeit erfasst wurde, zum anderen aber auch die Zufriedenheit der Befragten mit dieser Praxis sowie Anregungen und Wünsche für die Zukunft. Ohne dass dies bei der Initiierung der Studie schon abzusehen gewesen wäre, führte die Corona-Pandemie im Erhebungszeitraum zu erheblichen Anpassungen in der Gestaltung der Arbeitsbedingungen, insbesondere hinsichtlich mobiler Arbeit. Während der Feinkonzeption der Studie wurde diesen Veränderungen Rechnung getragen, indem auch Fragestellungen zu den (neuen) Erfahrungen in Bezug auf mobiles Arbeiten während der Pandemie aufgenommen wurden.
Die Datenerhebung kombinierte eine Dokumentenanalyse mit einer teilstandardisierten Online-Befragung aller Beschäftigtengruppen der TUD sowie leitfadengestützten Interviews. Die Datenanalyse vereinte deskriptive Statistik und qualitative Inhaltsanalyse.
Management: Vera Hennefeld | Mitarbeit: Fabian OttoAuftraggeber: Technische Universität Darmstadt
Entwicklung M&E-System
Projektstart: November 2019
Projektende: Juli 2020
Entwicklung und Implementation eines M&E-Systems für das Projekt „EinTanzHaus“
Mit dem EinTanzHaus soll in Mannheim ein Zentrum für zeitgenössischen Tanz in einem Kulturdenkmal von besonderer Bedeutung geschaffen werden. Das Team des EinTanzHauses hat unter [Mehr anzeigen]Mit dem EinTanzHaus soll in Mannheim ein Zentrum für zeitgenössischen Tanz in einem Kulturdenkmal von besonderer Bedeutung geschaffen werden. Das Team des EinTanzHauses hat unter der Leitung von Daria Holme durch den beispielhaften Umbau des denkmalgeschützten Sakralbaus die Voraussetzungen geschaffen, in Süddeutschland ein Tanzzentrum zu entwickeln, das durch seine Infrastruktur, seine Bühnengröße, seinen zentralen Standort in der Innenstadt und die künstlerische Erfahrung der Akteure für den Tanz in Deutschland neue Perspektiven eröffnen kann.
Aufgabe der CEval GmbH war es, ein M&E-Konzept zu entwickeln und umzusetzen, das der Projektsteuerung sowie der regelmäßigen Überprüfung der Zielerreichung und der Wirkungserfassung dient. Hierzu wurden in einem ersten Schritt gemeinsam mit den Beteiligten eine Zielhierarchie und wertbestückte Indikatoren für das EinTanzHaus sowie ein Datenerhebungsplan entwickelt, der einen Methodenmix aus teilstandardisierten Befragungen von Besuchern und Künstlern, qualitative Interviews mit relevanten Stakeholdern sowie eine Systematisierung prozessproduzierter Daten umfasst. Die CEval GmbH war in alle Schritte der Datenerhebung, -auswertung und -interpretation eingebunden und unterstützte so die Beteiligten in der strategischen Steuerung des Projektes und der Beurteilung der Zielerreichung des Vorhabens.
Management: Vera Hennefeld | Mitarbeit: Fabian OttoAuftraggeber: Kulturamt der Stadt Mannheim
Projektstart: Januar 2019
Projektende: Mai 2020
Pilotprojekt zur gemeinsamen Spieltagsnachbereitung im Profifußball
Die Daniel Nivel Stiftung verfolgt das Ziel, das Verhältnis zwischen Fußballfans und Polizei zu verbessern. Die Stiftung kooperiert zur Erreichung dieses Ziels mit nationalen Fußballverbänden [Mehr anzeigen]Die Daniel Nivel Stiftung verfolgt das Ziel, das Verhältnis zwischen Fußballfans und Polizei zu verbessern. Die Stiftung kooperiert zur Erreichung dieses Ziels mit nationalen Fußballverbänden und hat 2018 die finanziellen Mittel für zwei Pilotprojekte freigegeben, eines mit dem französischen Fußballverband (FFF) und eines mit dem Deutschen Fußball-Bund (DFB). Auf deutscher Seite wurde in sog. Zukunftswerkstätten die Idee entwickelt, eine gemeinsame Spieltagsnachbereitung zu etablieren, in deren Rahmen ein Dialog zwischen Fußballfans und Polizei geschaffen wird. So sollen Konflikte nach Spieltagen aufgearbeitet und Lösungsvorschläge für zukünftige Ereignisse entwickelt werden.
Der DFB hatte die CEval GmbH mit der wissenschaftlichen Begleitung dieses Projektes beauftragt. Die Aufgaben der CEval GmbH reichten von der Konzeption des Projektes (Ablauf der Nachbereitung, Auswahl von Pilotstandorten, etc.) über die Entwicklung geeigneter Instrumente zur Fanbefragung und Formate zur Spieltagsnachbereitung bis zur Unterstützung der Akteure bei der praktischen Durchführung und Moderation der Nachbereitung. Dabei wurden unterschiedliche Abläufe und Formate zur Spieltagsnachbereitung getestet, um im Anschluss an die Pilotphase ein anwendungsfähiges Konzept vorlegen zu können. Alle Arbeitsschritte erfolgten in enger Zusammenarbeit mit dem Projektteam des DFB. Auch mit der Koordinationsstelle Fanprojekte (KOS) und der Deutschen Fußball Liga (DFL) gibt es einen regelmäßigen, projektbezogenen Austausch. Die Projektlaufzeit ist von Januar 2019 bis Mai 2020 angesetzt. In der ersten Jahreshälfte 2019 erfolgte die detaillierte Projektkonzeption und -ausarbeitung inkl. Arbeitstreffen und Workshops mit allen beteiligten Akteuren. In der zweiten Jahreshälfte, während der Hinrunde der Saison 2019/2020, wurde das entwickelte Konzept zur Spieltagsnachbereitung in Zusammenarbeit mit ausgewählten Pilotstandorten aus dem Profifußball durchgeführt und getestet. Zentrale Partner waren dabei die Fanprojekte der entsprechenden Standorte. Im Anschluss folgten eine Bewertung und ggf. Anpassung des Konzepts zur Spieltagsnachbereitung sowie die Dokumentation des Projektes in Form eines Abschlussberichtes.
Management: Vera Hennefeld | Mitarbeit: Fabian OttoAuftraggeber: Deutscher Fußball-Bund
Projektstart: Dezember 2018
Projektende: Februar 2020
Evaluation des Projektes „Digital Leadership“ der Führungsakademie Baden-Württemberg
Seit März 2018 bietet die Führungsakademie Baden-Württemberg (FüAK) das Programm "Digital Leadership" an. Das Programm umfasst unterschiedliche Fortbildungsformate zur Förderung "digitaler Kompetenzen" von Führungskräften der [Mehr anzeigen]Seit März 2018 bietet die Führungsakademie Baden-Württemberg (FüAK) das Programm "Digital Leadership" an. Das Programm umfasst unterschiedliche Fortbildungsformate zur Förderung "digitaler Kompetenzen" von Führungskräften der Verwaltungen des Landes Baden-Württemberg. Ziel ist es, diese Führungskräfte auf die Anforderungen des Digitalen Wandels vorzubereiten, sie miteinander zu vernetzen und mit den erforderlichen Kompetenzen auszustatten, damit sie in ihren Institutionen den digitalen Wandel vorantreiben und gestalten können. Zu den Formaten des Programms zählen fachliche Fortbildungen (z.B. Programmieren, Design Thinking), Netzwerkveranstaltungen, Learning Journeys zu innovativen Unternehmen und themenspezifische Fokusgruppen. Gegenstand der Evaluation waren die unterschiedlichen Fortbildungsformate des Programms. Diese wurden hinsichtlich ihrer Wirkungen evaluiert. Der Fokus lag dabei auf der Outcome-Ebene, also auf den kurz- und mittelfristigen Wirkungen der verschiedenen Veranstaltungen. Dazu wurde im Sinne des partizipativen Evaluationsansatzes der CEval GmbH gemeinsam mit dem Projektteam eine Wirkungslogik erarbeitet. Die Wirkungen wurden im Rahmen der Evaluation mithilfe eines Multimethodenansatzes überprüft. Zum einen wurden Teilnehmerfragebögen entwickelt und zu zwei Zeitpunkten, am Veranstaltungsende und nach einer definierten Wirkungsphase, eingesetzt. Zum anderen wurden Interviews mit unterschiedlichen Stakeholdergruppen geführt, um so tiefergehende Einschätzungen zu relevanten Aspekten des Programms zu erhalten. Auf diese Weise konnten die Vorteile beider Datenerhebungsmethoden kombiniert und zur Bewertung der Fortbildungsformate genutzt werden. Auf Basis der Erkenntnisse wurden Empfehlungen zur Weiterentwicklung und Optimierung des Fortbildungsprogramms entwickelt.
Management: Vera Hennefeld | Mitarbeit: Fabian OttoAuftraggeber: Führungsakademie Baden-Württemberg
Begleitende Evaluation, Ex-Post und Schlussevaluation, Wirkungsevaluation
Projektstart: April 2019
Projektende: Dezember 2019
Evaluation des Programms „Mentoring Hessen – Frauen in Wissenschaft und Wirtschaft“
Mentoring Hessen bietet eine europaweit einmalige Struktur der aufbauenden Förderung für junge Frauen in den Übergangsphasen ihrer Karriere in Wissenschaft und Wirtschaft. Die vier Förderlinien [Mehr anzeigen]Mentoring Hessen bietet eine europaweit einmalige Struktur der aufbauenden Förderung für junge Frauen in den Übergangsphasen ihrer Karriere in Wissenschaft und Wirtschaft. Die vier Förderlinien ProCareer.MINT, ProCareer.Doc, ProAcademia und ProProfessur richten sich an Studentinnen der MINT-Fächer sowie fachübergreifend an Doktorandinnen, Postdocs und angehende Professorinnen. Die Förderung umfasst die drei klassischen Säulen Mentoring, Qualifizierungs- und Networkingangebote.
Ziel der Evaluation war es, die Umsetzung des Konzepts und Organisationsmodells von Mentoring Hessen zu analysieren, um aufbauend auf den Befunden Empfehlungen für die optimale Weiterentwicklung des Programms zu erarbeiten. Die Evaluation hat dabei zwei Analyseperspektiven eingenommen: 1. Analyse der Konzeption, Umsetzung und Zielerreichung von Mentoring Hessen: Evaluation der Programmkonzeption und -umsetzung, Bewertung der Zielerreichung und Wirksamkeit, Ableitung von Empfehlungen zur Optimierung von Konzeption, Umsetzung und Zielerreichung; 2. Analyse des Zusammenwirkens der Akteursgruppen im Verbundprojekt Mentoring Hessen: Analyse der Struktur und ihrer Funktionalität sowie Bewertung des Zusammenwirkens der verschiedenen Akteursgruppen, Ableitung von Empfehlungen zur Optimierung von Organisationsstruktur und Zusammenarbeit.
Die Datenerhebung kombinierte eine Dokumentenanalyse mit einer umfassenden Sekundäranalyse von bereits vorhanden Daten aus Erhebungen bei den Zielgruppen, leitfadengestützten Interviews und Gruppendiskussionen. Die Datenanalyse vereinte deskriptive Statistik und qualitative Inhaltsanalyse.
Management: Vera Hennefeld | Mitarbeit: Fabian OttoAuftraggeber: Goethe-Universität Frankfurt am Main
Ex-Post und Schlussevaluation
Projektstart: September 2018
Projektende: Oktober 2018
Auswertung der Gefahrenabwehr und Schäden nach den Starkregenereignissen im Saarland von Mai/Juni 2018
In den Monaten Mai und Juni 2018 wurde das Saarland durch schwere Unwetter getroffen, wobei in einer Reihe von Kommunen hohe Schäden durch Starkregen verursacht [Mehr anzeigen]In den Monaten Mai und Juni 2018 wurde das Saarland durch schwere Unwetter getroffen, wobei in einer Reihe von Kommunen hohe Schäden durch Starkregen verursacht wurden. Das Ministerium für Umwelt und Verbraucherschutz des Saarlandes (MUV) beabsichtigte im Nachgang dieser Ereignisse die Maßnahmen zur Gefahrenabwehr und der Abwehr von Schäden zu überprüfen. Dazu sollte eine Stärken- und Schwächenanalyse der Gefahrenabwehr bezüglich Vorbereitung, Bewältigung und Nachbereitung der Ereignisse durchgeführt werden, anhand derer Verbesserungspotenziale erkannt und Handlungsempfehlungen abgeleitet werden können. Darüber hinaus sollte eine Auswertung der entstandenen Schäden vorgenommen werden.
Zur Analyse der Stärken und Schwächen der Gefahrenabwehr wurden insgesamt 62 leitfadengestützte Interviews mit Vertreter:innen der Feuerwehr und des Technischen Hilfswerks, sowie Bürgermeister:innen, Ortsvorsteher:innen und relevanten Mitarbeiter:innen kommunaler Behörden und Kreisbehörden geführt. Die inhaltsanalytische Auswertung dieser Interviews bildete die Grundlage zur Identifikation von Verbesserungspotenzialen und zum Ableiten konkreter Handlungsempfehlungen. Die Schäden im Bereich von kommunaler Infrastruktur und Privathaushalten wurden anhand der vom Auftraggeber bereitgestellten Daten quantitativ ausgewertet.
Management: Stefan Silvestrini | Mitarbeit: Hansjörg Gaus, Fabian Otto