Pilotprojekt zur gemeinsamen Spieltagsnachbereitung im Profifußball
Die Daniel Nivel Stiftung verfolgt das Ziel, das Verhältnis zwischen Fußballfans und Polizei zu verbessern. Die Stiftung kooperiert zur Erreichung dieses Ziels mit nationalen Fußballverbänden und hat 2018 die finanziellen Mittel für zwei Pilotprojekte freigegeben, eines mit dem französischen Fußballverband (FFF) und eines mit dem Deutschen Fußball-Bund (DFB). Auf deutscher Seite wurde in sog. Zukunftswerkstätten die Idee entwickelt, eine gemeinsame Spieltagsnachbereitung zu etablieren, in deren Rahmen ein Dialog zwischen Fußballfans und Polizei geschaffen wird. So sollen Konflikte nach Spieltagen aufgearbeitet und Lösungsvorschläge für zukünftige Ereignisse entwickelt werden.
Der DFB hatte die CEval GmbH mit der wissenschaftlichen Begleitung dieses Projektes beauftragt. Die Aufgaben der CEval GmbH reichten von der Konzeption des Projektes (Ablauf der Nachbereitung, Auswahl von Pilotstandorten, etc.) über die Entwicklung geeigneter Instrumente zur Fanbefragung und Formate zur Spieltagsnachbereitung bis zur Unterstützung der Akteure bei der praktischen Durchführung und Moderation der Nachbereitung. Dabei wurden unterschiedliche Abläufe und Formate zur Spieltagsnachbereitung getestet, um im Anschluss an die Pilotphase ein anwendungsfähiges Konzept vorlegen zu können. Alle Arbeitsschritte erfolgten in enger Zusammenarbeit mit dem Projektteam des DFB. Auch mit der Koordinationsstelle Fanprojekte (KOS) und der Deutschen Fußball Liga (DFL) gibt es einen regelmäßigen, projektbezogenen Austausch. Die Projektlaufzeit ist von Januar 2019 bis Mai 2020 angesetzt. In der ersten Jahreshälfte 2019 erfolgte die detaillierte Projektkonzeption und -ausarbeitung inkl. Arbeitstreffen und Workshops mit allen beteiligten Akteuren. In der zweiten Jahreshälfte, während der Hinrunde der Saison 2019/2020, wurde das entwickelte Konzept zur Spieltagsnachbereitung in Zusammenarbeit mit ausgewählten Pilotstandorten aus dem Profifußball durchgeführt und getestet. Zentrale Partner waren dabei die Fanprojekte der entsprechenden Standorte. Im Anschluss folgten eine Bewertung und ggf. Anpassung des Konzepts zur Spieltagsnachbereitung sowie die Dokumentation des Projektes in Form eines Abschlussberichtes.
Evaluation des Projektes „Digital Leadership“ der Führungsakademie Baden-Württemberg
Seit März 2018 bietet die Führungsakademie Baden-Württemberg (FüAK) das Programm „Digital Leadership“ an. Das Programm umfasst unterschiedliche Fortbildungsformate zur Förderung „digitaler Kompetenzen“ von Führungskräften der Verwaltungen des Landes Baden-Württemberg. Ziel ist es, diese Führungskräfte auf die Anforderungen des Digitalen Wandels vorzubereiten, sie miteinander zu vernetzen und mit den erforderlichen Kompetenzen auszustatten, damit sie in ihren Institutionen den digitalen Wandel vorantreiben und gestalten können. Zu den Formaten des Programms zählen fachliche Fortbildungen (z.B. Programmieren, Design Thinking), Netzwerkveranstaltungen, Learning Journeys zu innovativen Unternehmen und themenspezifische Fokusgruppen. Gegenstand der Evaluation waren die unterschiedlichen Fortbildungsformate des Programms. Diese wurden hinsichtlich ihrer Wirkungen evaluiert. Der Fokus lag dabei auf der Outcome-Ebene, also auf den kurz- und mittelfristigen Wirkungen der verschiedenen Veranstaltungen. Dazu wurde im Sinne des partizipativen Evaluationsansatzes der CEval GmbH gemeinsam mit dem Projektteam eine Wirkungslogik erarbeitet. Die Wirkungen wurden im Rahmen der Evaluation mithilfe eines Multimethodenansatzes überprüft. Zum einen wurden Teilnehmerfragebögen entwickelt und zu zwei Zeitpunkten, am Veranstaltungsende und nach einer definierten Wirkungsphase, eingesetzt. Zum anderen wurden Interviews mit unterschiedlichen Stakeholdergruppen geführt, um so tiefergehende Einschätzungen zu relevanten Aspekten des Programms zu erhalten. Auf diese Weise konnten die Vorteile beider Datenerhebungsmethoden kombiniert und zur Bewertung der Fortbildungsformate genutzt werden. Auf Basis der Erkenntnisse wurden Empfehlungen zur Weiterentwicklung und Optimierung des Fortbildungsprogramms entwickelt.
Evaluation der im Jahr 2019 geförderten Flüchtlingsprojekte der Beauftragten der Bundesregierung für Migration, Flüchtlinge und Integration
Im Jahr 2019 förderte die Beauftragte der Bundesregierung für Migration, Flüchtlinge und Integration 25 Flüchtlingsprojekte in den Förderbereichen Stärkung des Ehrenamtes, Empowerment und Gewaltprävention sowie politische und gesellschaftliche Teilhabe. Ziel der Förderung war es, zu einer verbesserten gesellschaftlichen Integration und Teilhabe von Geflüchteten in Deutschland beizutragen.
Aufgabe der Evaluation war es, die Zielerreichung, Wirksamkeit und Wirtschaftlichkeit der geförderten Projekte zu beurteilen und Empfehlungen für zukünftige Förderungen abzuleiten. Gleichzeitig sollten die geförderten Projekte beim Aufbau und der Umsetzung eines wirkungsorientierten Monitorings ihrer Projekte unterstützt werden. Die Evaluation war als begleitende Evaluation mit formativen und summativen Elementen angelegt und beinhaltete eine Capacity Building Komponente zum wirkungsorientierten Monitoring. In methodischer Hinsicht wurde ein Mix aus qualitativen und quantitativen Erhebungs- und Auswertungsmethoden miteinander kombiniert. Unter anderem wurden eine Dokumentenanalyse, Leitfadeninterviews, Fokusgruppendiskussionen sowie eine Online-Befragung realisiert.
Faktoren für eine erfolgreiche Berufsbildungszusammenarbeit mit der Volksrepublik China (efach) – ein Vergleich staatlicher, zivilgesellschaftlicher und privatwirtschaftlicher Konzepte
Im Forschungsprojekt „Faktoren für eine erfolgreiche Berufsbildungszusammenarbeit mit der Volksrepublik China (efach) – ein Vergleich staatlicher, zivilgesellschaftlicher und privatwirtschaftlicher Konzepte“ sollte erstmals untersucht werden, ob in bisherigen Forschungsarbeiten identifizierte und zu einem Schlüsselgrößenmodell zusammengeführte Erfolgsfaktoren internationaler Berufsbildungskooperationen auch für Kooperationen außerhalb der Entwicklungszusammenarbeit, im privatwirtschaftlichen Bereich und in China gelten. Aus der quantitativen und qualitativen Untersuchung staatlicher, zivilgesellschaftlicher und privatwirtschaftlicher Berufsbildungskooperationen wurden allgemeine Handlungsempfehlungen generiert und einzelne Projekte oder Maßnahmen als Best-Practice-Beispiele herausgestellt. Tagungen und Publikationen beförderten eine umfassende Dissemination, Diskussion und Nutzung der gewonnenen Erkenntnisse in der internationalen Berufsbildungsforschung und -praxis.
Evaluation der „Strategischen Kommunikation zu Flucht und Migration im Ausland“ des Auswärtigen Amts
Im Jahr 2016 initiierte das Auswärtige Amt (AA) eine neue Kommunikationsstrategie zu Flucht und Migration im Ausland. Diese setzt sich einerseits aus direkten Kommunikationsmaßnahmen wie einer eigenen Webseite und Informationen auf Social-Media-Kanälen zusammen und andererseits aus indirekter Kommunikationsarbeit durch Projektförderung von Partnerorganisationen. Ziel dieser Bemühungen ist es, zu einer besseren Informationsbasis zu Flucht und Migration im Ausland beizutragen und dabei humanitäre und völkerrechtliche Prinzipien zu stärken.
Aufgabe der Evaluation war es, die Zielerreichung, Wirksamkeit, Wirtschaftlichkeit und Nachhaltigkeit sowie die Impacts der geförderten Projekte und der direkten Kommunikationsangebote des AA zu bewerten und davon ausgehend Empfehlungen für zukünftige Förderungen und Strategieentwicklungen abzuleiten. Gleichzeitig sollten konzeptionelle Grundlagen zur künftigen Optimierung des wirkungsorientierten Monitorings aller Maßnahmen entwickelt werden. Die Evaluation enthielt summative und formative Elemente. Damit sollte die Evaluation einerseits das AA-interne Lernen im Bereich der Kommunikationsstrategie unterstützen und andererseits einer transparenten Rechenschaftslegung dienen.
Die Evaluation folgte einem theoriegeleiteten, partizipativen Ansatz, bei dem eine Vielzahl qualitativer und quantitativer Methoden der empirischen Sozialforschung angewandt und miteinander trianguliert wurden. Die Datenerhebungen umfassten Dokumenten- und Sekundäranalyse auf Projekt- und Programmebene, leitfadengestützte Telefoninterviews mit Zuständigen des AA, Feldstudien in Afghanistan, Irak und Nigeria, Expertengutachten, teilstandardisierte und experimentell angelegte Onlineerhebungen mit Projektpartnern und Zielgruppen sowie teilnehmende Beobachtung eines Austauschtreffens mit Vertretern der afrikanischen Diaspora.
Evaluation des „PROBONO Teacher Training“ Programms in Tansania
Das PROBONO Teacher Training Programm zielt darauf ab zur Verbesserung der Bildungsqualität in Tansania beizutragen, da in den landesweiten Abschlussprüfungen insbesondere in den MINT-Fächern starker Aufholbedarf besteht. Dies geschieht durch die Durchführung einer Reihe von berufsbegleitende Workshops über 4 Jahre hinweg, durch das Bereitstellen von Ausrüstung und Infrastruktur an den Partnerschulen und durch die Förderung eines Netzwerks von Bildungsakteuren.
Die Finale Evaluation richtete sich an den OECD-DAC Kriterien aus (Relevanz, Effektivität, Wirkung, Nachhaltigkeit) um Empfehlungen für die Ausrichtung der nächsten Projektphase zu gewinnen.
Die Evaluation bediente sich verschiedener Methoden und bezog neben Einzelinterviews mit Projektverantwortlichen, Projektpartnern und Schulleiter:innen durch Fokus Gruppen Diskussionen auch die Stimmen der Lehrer:innen, Schüler:innen und Trainer:innen ein. Eine umfangreiche Befragung aller teilnehmenden Lehrer:innen und Trainer ermöglichte eine vertiefende quantitative Bewertung.
Entwicklung und Implementation eines M&E-Systems für das Projekt „EinTanzHaus“
Mit dem EinTanzHaus soll in Mannheim ein Zentrum für zeitgenössischen Tanz in einem Kulturdenkmal von besonderer Bedeutung geschaffen werden. Das Team des EinTanzHauses hat unter der Leitung von Daria Holme durch den beispielhaften Umbau des denkmalgeschützten Sakralbaus die Voraussetzungen geschaffen, in Süddeutschland ein Tanzzentrum zu entwickeln, das durch seine Infrastruktur, seine Bühnengröße, seinen zentralen Standort in der Innenstadt und die künstlerische Erfahrung der Akteure für den Tanz in Deutschland neue Perspektiven eröffnen kann.
Aufgabe der CEval GmbH war es, ein M&E-Konzept zu entwickeln und umzusetzen, das der Projektsteuerung sowie der regelmäßigen Überprüfung der Zielerreichung und der Wirkungserfassung dient. Hierzu wurden in einem ersten Schritt gemeinsam mit den Beteiligten eine Zielhierarchie und wertbestückte Indikatoren für das EinTanzHaus sowie ein Datenerhebungsplan entwickelt, der einen Methodenmix aus teilstandardisierten Befragungen von Besuchern und Künstlern, qualitative Interviews mit relevanten Stakeholdern sowie eine Systematisierung prozessproduzierter Daten umfasst. Die CEval GmbH war in alle Schritte der Datenerhebung, -auswertung und -interpretation eingebunden und unterstützte so die Beteiligten in der strategischen Steuerung des Projektes und der Beurteilung der Zielerreichung des Vorhabens.
Datenerhebung zur Vergabe des Qualitätssiegels „Fanprojekt nach dem Nationalen Konzept Sport und Sicherheit“
In Deutschland existiert ein dichtes Netzwerk von Einrichtungen der sozialen Arbeit mit jugendlichen Fußballfans, die nach den Rahmenbedingungen und Vorgaben des Nationalen Konzepts Sport und Sicherheit (NKSS) arbeiten. Das „Qualitätssiegel nach dem Nationalen Konzept Sport und Sicherheit“ wurde im Jahr 2010 mit dem Ziel eingeführt, diesen sozialpädagogisch arbeitenden Fußballfanprojekten in Deutschland ein Instrument der Qualitätssicherung an die Hand zu geben, um gemeinsame Standards und mehr Handlungssicherheit herbeizuführen und die strukturellen Rahmenbedingungen der sozialpädagogisch arbeitenden Fußballfanprojekte zu verbessern. Das Qualitätssiegel wird vergeben von der AG Qualitätssicherung, welche durch die Koordinationsstelle Fanprojekte bei der Deutschen Sportjugend (KOS) koordiniert wird. In der AG Qualitätssicherung sind Vertreter aus dem Fußball, der obersten Landes- und Familienbehörden, der Wissenschaft und der Fanprojekte selbst vertreten.
In einem ersten Teilprojekt (5/2015-06/2016) wurde (a) das Qualitätssiegel von der CEval GmbH überarbeitet, (b) modellhaft mit fünf Fanprojekten getestet und so (c) ein standardisiertes, praxistauglisches Konzept zur Erhebung der für die Siegelvergabe erforderlichen Informationen entwickelt. Das Qualitätssiegel ist damit heute ein valides Zeichen für die hohe Qualität der Arbeit von Fanprojekten.
Im zweiten Teilprojekt unterstützte die CEval GmbH die bundesweite Ausrollung des überarbeiteten Qualitätssiegels durch die Erhebung der für die Vergabe notwendigen Informationen in allen Fanprojekten Deutschlands.
Wirkungsanalyse des Projektes „KiTa im Aufbruch: Prozessbegleitung Richtung Nachhaltigkeit“
Der Landesbund Vogelschutz in Bayern e.V. (LBV) führte zwischen November 2020 bis März 2022 das Umweltbildungsprojekt „KiTa im Aufbruch: Prozessbegleitung Richtung Nachhaltigkeit“ durch. Ziel des Projektes war es, durch eine eineinhalbjährige Prozessbegleitung von ausgewählten bayerischen Kindertageseinrichtungen (Kitas) zur strukturellen Verankerung von Bildung für nachhaltige Entwicklung (BNE) in der frühkindlichen Kinderbetreuung beizutragen. Die CEval GmbH begleitete das Projekt mittels einer Wirkungsanalyse. Durch die Vorher-Nachher-Befragung von Kita-Mitarbeiter*innen, Eltern und den Trägern der Kitas wurde untersucht, welche Wirkung die Prozessbegleitung auf die Kompetenzentwicklung der pädagogischen Fachkräfte und die Qualität der Bildungsangebote und pädagogischen Prozesse im Sinne der BNE hatte. Darüber hinaus wurde auch analysiert, inwiefern die Prozessbegleitung zu einer ganzheitlichen Transformation der Lern- und Lehrumgebung in Richtung einer strukturellen Verankerung der BNE in den Kitas beitrug. Neben pädagogischen Konzepten schloss dies auch die Bereiche der nachhaltigen Beschaffung und Verpflegung im Sinne eines nachhaltigen Speiseplans ein. Um beobachtete Effekte und Wirkungen eindeutig der Prozessbegleitung zuordnen zu können, wurde die Wirkungsanalyse auf einem quasi-experimentellen Design aufgebaut, das durch die Befragung von Vergleichsgruppen (Kitas ohne Teilnahme an einer Prozessbegleitung) realisiert wurde. Im Prozess der Datenerhebung wurden qualitative und quantitative Erhebungsmethoden miteinander kombiniert.
Evaluation von APPEAR Projekten (Programmphasen I und II)
Das Austrian Partnership Programme in Higher Education and Research for Development (APPEAR) wird von der Austrian Development Agency (ADA) konzipiert, geleitet und finanziert, um die Strategie „Higher Education and Scientific Cooperation“ zur Unterstützung von Hochschulen und Forschung für Entwicklung auf akademischer Ebene umzusetzen. Mit Unterstützung des World University Service (WUS) Österreich werden die geförderten Projekte von der Österreichischen Agentur für internationale Mobilität und Zusammenarbeit in Bildung, Wissenschaft und Forschung (OeAD GmbH) durchgeführt. Das übergeordnete Ziel von APPEAR ist die Stärkung der institutionellen Kapazitäten in den Bereichen Hochschulbildung, Forschung und Management durch akademische Partnerschaften mit österreichischen Hochschulen und durch Stipendien. Ziel der Partnerschaften ist es, die allgemeinen Standards in den Bereichen Hochschulbildung, Forschung und Management durch Wissenstransfer und innovative Projekte zu verbessern. Die Erreichung dieser Ziele soll schließlich zu einer wirksamen und nachhaltigen Armutsbekämpfung in den Partnerländern beitragen.
Übergeordnetes Ziel der Evaluation war es, die laufenden und abgeschlossenen Projekte der APPEAR-Phasen I und II zu bewerten. Dabei wurde analysiert, inwiefern die APPEAR-Richtlinien und Grundprinzipien bei der Projektumsetzung eingehalten wurden und in welchem Umfang, die Projekte ihre Ziele und Ergebnisse erreichen konnten. Darüber hinaus wurden die Projekte nach den OECD/DAC-Kriterien Relevanz, Effektivität, Effizienz, Wirkung und Nachhaltigkeit bewertet. Dabei zielte die Evaluierung darauf ab, die Stärken, Schwächen und Herausforderungen der APPEAR-Projekte zu identifizieren und Schlussfolgerungen, Lehren und Empfehlungen für die verbleibenden oder zukünftigen Projekte zu präsentieren.
Bei der Bewertung kamen verschiedene Methoden zum Einsatz. Primärdaten wurden bei Projektbesuchen in Äthiopien und Uganda, Interviews und Gruppendiskussionen mit Projektpartnern in Österreich sowie in online Interviews mit Projektmitarbeiter:innen in Nicaragua erhoben. Die Datenerhebungsinstrumente umfassen auch teilstandardisierte Befragungen, Programm- und Projektdokumentationen sowie frühere Programme.
