Evaluierung der EU-Innenfonds: Halbzeitevaluierungen des Inneren Sicherheitsfonds (ISF) und des Instruments für finanzielle Hilfe im Bereich Grenzverwaltung und Visumpolitik (BMVI)
Die Europäische Kommission (EU KOM) stellt unter Verantwortung der Generaldirektion Migration und Inneres (DG HOME) den Inneren Sicherheitsfonds (ISF; verwaltet durch das Bundkriminalamt (BKA)), das Instrument für finanzielle Hilfe im Bereich Grenzverwaltung und Visumpolitik (Border Management and Visa Instrument, BMVI, verwaltet durch die Bundespolizei) sowie den Asyl-, Migrations- und Integrationsfonds (AMIF, verwaltet durch das Bundesamt für Migration und Flüchtlinge (BAMF)) zur Verfügung. Diese bilden zusammen die so genannten „Innenfonds“ (Home Affairs Funds).
Die Mitgliedstaaten sind verpflichtet, für die EU-KOM Halbzeit- und Endevaluierungen über die Durchführung der aus den einzelnen Fonds finanzierten Maßnahmen und den Grad der Zielerreichung der nationalen Programme, die aus den Innenfonds gefördert werden, zu erstellen. Nutzer:innen der Evaluierungen sind insbesondere EU (DG Home), die fondsverwaltenden Behörden BKA, BPOL und BAMF sowie deren Begleitausschüsse.
Ziel der Evaluierungen ist eine Erfolgsbewertung der Ergebnisse und Wirkungen der aus den Innenfonds kofinanzierten Programme und Maßnahmen auf Basis der Kriterien Wirksamkeit, Effizienz, Relevanz, Kohärenz und EU-Mehrwert. Insbesondere die Kohärenz zwischen den einzelnen Fonds ist dabei von Interesse. Neben der Erfolgsbewertung sollen die Evaluierungen auch Empfehlungen zur Verbesserung der Qualität der Gestaltung und Umsetzung der nationalen Programme erarbeiten sowie zur Kohärenz und Nutzung von Synergiepotentialen zwischen den einzelnen Fonds analysieren.
Nachdem die Gesellschaft für Internationale Zusammenarbeit (GIZ) 2017 im Auftrag des BKA die Halbzeitevaluierung für den ISF durchgeführt hat, wurde sie nun erneut mit der Durchführung der Endevaluierung des ISF für die Förderperiode 2014-2020 sowie mit der Halbzeitevaluierung des ISF, des BMVI und des AMIF mit der Förderperiode 2021-2027 beauftragt.
Im Zuge dessen hat die GIZ die CEval GmbH damit beauftragt, die
> Endevaluierung des ISF, Teilbereich Sicherheit und Teilbereich Grenze, Förderperiode 2014-2021,
> Halbzeitevaluierung des ISF, aktuelle Förderperiode 2021-2027 sowie
> Halbzeitevaluierung des BMVI, aktuelle Förderperiode 2021-2027
durchzuführen.
Im Sinne einer Quellen- und Methodentriangulation kommen verschiedene Erhebungsverfahren zur Anwendung:
> Recherche sämtlicher relevanter Programm- und Projektdokumente sowie von Monitoringdaten,
> Teilstandardisierte Online-Erhebung mit Projektnehmer*innen und deren Implementierungspartner:innen sowie weiteren potentiell Antragsberechtigten und
> Leitfadengestützte qualitative Interviews mit Programm- und Projektverantwortlichen.
Evaluation der Aufnahmeverfahren in Stipendienprogramme der Hans-Böckler-Stiftung (HBS)
Die Hans-Böckler-Stiftung (HBS) vergibt Stipendien an Abiturient:innen im Zweiten Bildungsweg, Künstler:innen und Studierende sowie an Promovierende in allen Fachgebieten. Zur Erlangung eines Stipendiums durchlaufen die Bewerber:innen ein mehrstufiges und mittlerweile digitalisiertes Aufnahmeverfahren, bei dem ihre Eignung anhand einer Reihe von Prüfkriterien bewertet wird. Die CEval GmbH wurde von der HBS beauftragt die Auswahlverfahren zu evaluieren. Hierbei sind insbesondere die Angemessenheit, Zielgerichtetheit und Effizienz des Verfahrens sowie die Fairness und Nachvollziehbarkeit der Prüfkriterien zu untersuchen.
Das CEval-Team orientiert sich dabei an den den OECD-DAC Kriterien mittels derer systematisch ein Analyseraster ausgearbeitet wird. Die Evaluation verfolgt einen Mixed-Methods Ansatz, der qualitative und quantitative Instrumente und Analyseverfahren kombiniert. Zum Einsatz kommen semi-strukturierte leitfadengestützte Interviews, qualitative Kurzinterviews, ein Online-Survey sowie eine Sekundärdaten-Analyse.
Evaluierung der Herausgabe des Mitteilungsblatts der Landeshauptstadt Saarbrücken
Die Landeshauptstadt Saarbrücken ist zur Publikation öffentlicher Bekanntmachungen durch Rechtsvorschrift verpflichtet. 2021 hat der Stadtrat der Landeshauptstadt Saarbrücken die Einführung des Mitteilungsblatts der Landeshauptstadt Saarbrücken beschlossen. Das Mitteilungsblatt enthält Informationen zu öffentlichen Bekanntmachungen und Ausschreibungen sowie weitere Informationen aus der Verwaltung. Verteilt wird das Mitteilungsblatt kostenfrei an alle erreichbaren Haushalte (ca. 90.000) im Stadtgebiet Saarbrücken.
Die Herausgabe des Mitteilungsblatts wurde zwei Jahre nach der Einführung evaluiert. Geprüft wurde u.a., wie bekannt das Mitteilungsblatt unter den Bürger:innen ist, ob das Mitteilungsblatt die Haushalte der Bürger:innen erreicht und auf welchem Wege (Print- oder Onlineausgabe) dies geschieht. Hierzu wurden ca. 800 im Stadtgebiet Saarbrücken lebende Bürger:innen über persönliche Kurzbefragungen in Fußgängerzonen und an anderen belebten Orten in verschiedenen Saarbrücker Stadtteilen befragt.
Datenerhebung zur Vergabe des Qualitätssiegels „Fanprojekt nach dem Nationalen Konzept Sport und Sicherheit“
In Deutschland existiert ein dichtes Netzwerk von Einrichtungen der sozialen Arbeit mit jugendlichen Fußballfans, die nach den Rahmenbedingungen und Vorgaben des Nationalen Konzepts Sport und Sicherheit (NKSS) arbeiten. Das „Qualitätssiegel nach dem Nationalen Konzept Sport und Sicherheit“ wurde im Jahr 2010 mit dem Ziel eingeführt, diesen sozialpädagogisch arbeitenden Fußballfanprojekten in Deutschland ein Instrument der Qualitätssicherung an die Hand zu geben, um gemeinsame Standards und mehr Handlungssicherheit herbeizuführen und die strukturellen Rahmenbedingungen der sozialpädagogisch arbeitenden Fußballfanprojekte zu verbessern. Das Qualitätssiegel wird auf Basis einer Empfehlung der AG Qualitätssicherung, welche durch die Koordinationsstelle Fanprojekte bei der Deutschen Sportjugend (KOS) koordiniert wird, durch den Beirat der KOS vergeben. In der AG Qualitätssicherung sind Vertreter aus dem Fußball, der obersten Landes- und Familienbehörden, der Wissenschaft und der Fanprojekte selbst vertreten. Nachdem in zwei Vorgängerprojekten bereits das Qualitätssiegel von der CEval GmbH überarbeitet, modellhaft getestet und im Anschluss die bundesweite Ausrollung durch die Erhebung der für die Vergabe notwendigen Informationen in allen Fanprojekten durchgeführt wurde, wurde die CEval GmbH nun mit den Datenerhebungen der dritten Phase zur Siegelvergabe für die aktuell 71 Fanprojekte beauftragt.
Evaluation des digitalen Seniorenportals “digital.vital”
Das Seniorenportal „digital.vital“ ist ein Modellprojekt des Amtes Hüttener Berge, des Landkreises Germersheim und der Stadt Püttlingen. Ziel des Portals ist es, einen Beitrag zur Begegnung der Herausforderungen zu leisten, die mit dem demografischen Wandel und der fortschreitenden Digitalisierung einhergehen: Durch bedarfsgerechte Angebote sollen Menschen in den Bereichen Ernährung, Bewegung und Freizeitgestaltung/soziale Teilhabe (inkl. Wohnen, Mobilität, Unterstützung) darin unterstützt werden, im Alter eine hohe Lebensqualität zu erzielen und zu erhalten. Zugleich soll durch das Portal auch die digitale Teilhabe älterer Menschen gestärkt werden. Das Projekt startete im Juli 2020 und ab Herbst 2022 werden auf dem Portal verschiedene Service- und Informationsangebote zur Verfügung gestellt werden.
Das Amt Hüttener Berge hat die CEval GmbH damit beauftragt, über eine Evaluation des Seniorenportals Erkenntnisse zur Qualität des Informations- und Serviceangebots zu erhalten und mögliche Optimierungspotenziale zur User Experience im Sinne der Portalfunktionalität sowie inhaltlicher Art (Content) zu identifizieren. Methodisch werden für die strukturierte Evaluierung der User Experience der Pilotnutzer:innen im Rahmen sog. Digitaler Werkstätten an verschiedenen Standorten insgesamt vier teilnehmende Beobachtungen durchgeführt. Ergänzt werden die teilnehmenden Beobachtungen um Nachbefragungen ausgewählter Teilnehmer:innen einige Tage nach dem Besuch der Digitalen Werkstätten, um Daten zum tatsächlichen Nutzen der Werkstätten und der Nutzung der Webseite durch die Teilnehmer:innen zu erfassen. Zudem wird eine teilstandardisierte Online-Befragung unter Trägern und Akteuren der Seniorenarbeit aus den Partnerkommunen zu deren Wahrnehmungen und fachlichen Einschätzungen zum Seniorenportal, zu seinen Angeboten sowie auch zu Weiterentwicklungspotenzialen durchgeführt.
Evaluation der Präventionskampagne „Mach Dein Passwort stark!“
Mit einem Erlass beauftragte das Ministerium des Innern Nordrhein-Westfalen (IM NRW) im Januar 2019 das Landeskriminalamt NRW (LKA NRW) mit der Entwicklung einer Präventions- und Öffentlichkeitskampagne zur Bekämpfung von Cybercrime. Ziel der Kampagne war es, die Bevölkerung in NRW im sicheren Umgang mit digitalen Endgeräten zu stärken und dadurch Tatgelegenheiten für Cybercrime im weiteren Sinne zu reduzieren und die Arbeit der Täterinnen und Täter zu erschweren. Die crossmediale Kampagne „Mach Dein Passwort stark!“ wurde im Oktober 2020 gestartet.
Die CEval GmbH wurde für die Kampagne mit einer begleitend angelegten Evaluation mit den beiden Teilbereichen Prozess- und Wirkungsevaluation beauftragt. Ziel der Studie war es, den Umsetzungsprozess sowie die Wirksamkeit der Kampagne „Mach Dein Passwort stark!“ zu bewerten und aufbauend auf diesen Ergebnissen Schlussfolgerungen und Empfehlungen für künftige polizeiliche Präventionskampagnen abzuleiten.
Die Evaluation basierte auf einem breiten Mix aus qualitativen und quantitativen Datenerhebungen, in die alle an der Konzeption und Umsetzung der Kampagne beteiligten Akteure sowie die Zielgruppen eingebunden wurden. Das Design beinhaltete auch eine experimentelle Versuchsanordnung zur vergleichenden Wirkungsevaluation der verschiedenen Komponenten der Kampagne. Im Rahmen der Datenauswertungen wurden deskriptive und inferenzstatistische Verfahren sowie qualitative Inhaltsanalysen realisiert.
Evaluation des „PROBONO Teacher Training“ Programms in Tansania
Das PROBONO Teacher Training Programm zielt darauf ab zur Verbesserung der Bildungsqualität in Tansania beizutragen, da in den landesweiten Abschlussprüfungen insbesondere in den MINT-Fächern starker Aufholbedarf besteht. Dies geschieht durch die Durchführung einer Reihe von berufsbegleitende Workshops über 4 Jahre hinweg, durch das Bereitstellen von Ausrüstung und Infrastruktur an den Partnerschulen und durch die Förderung eines Netzwerks von Bildungsakteuren.
Die Finale Evaluation richtete sich an den OECD-DAC Kriterien aus (Relevanz, Effektivität, Wirkung, Nachhaltigkeit) um Empfehlungen für die Ausrichtung der nächsten Projektphase zu gewinnen.
Die Evaluation bediente sich verschiedener Methoden und bezog neben Einzelinterviews mit Projektverantwortlichen, Projektpartnern und Schulleiter:innen durch Fokus Gruppen Diskussionen auch die Stimmen der Lehrer:innen, Schüler:innen und Trainer:innen ein. Eine umfangreiche Befragung aller teilnehmenden Lehrer:innen und Trainer ermöglichte eine vertiefende quantitative Bewertung.
Datenerhebung zur Vergabe des Qualitätssiegels „Fanprojekt nach dem Nationalen Konzept Sport und Sicherheit“
In Deutschland existiert ein dichtes Netzwerk von Einrichtungen der sozialen Arbeit mit jugendlichen Fußballfans, die nach den Rahmenbedingungen und Vorgaben des Nationalen Konzepts Sport und Sicherheit (NKSS) arbeiten. Das „Qualitätssiegel nach dem Nationalen Konzept Sport und Sicherheit“ wurde im Jahr 2010 mit dem Ziel eingeführt, diesen sozialpädagogisch arbeitenden Fußballfanprojekten in Deutschland ein Instrument der Qualitätssicherung an die Hand zu geben, um gemeinsame Standards und mehr Handlungssicherheit herbeizuführen und die strukturellen Rahmenbedingungen der sozialpädagogisch arbeitenden Fußballfanprojekte zu verbessern. Das Qualitätssiegel wird vergeben von der AG Qualitätssicherung, welche durch die Koordinationsstelle Fanprojekte bei der Deutschen Sportjugend (KOS) koordiniert wird. In der AG Qualitätssicherung sind Vertreter aus dem Fußball, der obersten Landes- und Familienbehörden, der Wissenschaft und der Fanprojekte selbst vertreten.
In einem ersten Teilprojekt (5/2015-06/2016) wurde (a) das Qualitätssiegel von der CEval GmbH überarbeitet, (b) modellhaft mit fünf Fanprojekten getestet und so (c) ein standardisiertes, praxistauglisches Konzept zur Erhebung der für die Siegelvergabe erforderlichen Informationen entwickelt. Das Qualitätssiegel ist damit heute ein valides Zeichen für die hohe Qualität der Arbeit von Fanprojekten.
Im zweiten Teilprojekt unterstützte die CEval GmbH die bundesweite Ausrollung des überarbeiteten Qualitätssiegels durch die Erhebung der für die Vergabe notwendigen Informationen in allen Fanprojekten Deutschlands.
Wirkungsanalyse des Projektes „KiTa im Aufbruch: Prozessbegleitung Richtung Nachhaltigkeit“
Der Landesbund Vogelschutz in Bayern e.V. (LBV) führte zwischen November 2020 bis März 2022 das Umweltbildungsprojekt „KiTa im Aufbruch: Prozessbegleitung Richtung Nachhaltigkeit“ durch. Ziel des Projektes war es, durch eine eineinhalbjährige Prozessbegleitung von ausgewählten bayerischen Kindertageseinrichtungen (Kitas) zur strukturellen Verankerung von Bildung für nachhaltige Entwicklung (BNE) in der frühkindlichen Kinderbetreuung beizutragen. Die CEval GmbH begleitete das Projekt mittels einer Wirkungsanalyse. Durch die Vorher-Nachher-Befragung von Kita-Mitarbeiter*innen, Eltern und den Trägern der Kitas wurde untersucht, welche Wirkung die Prozessbegleitung auf die Kompetenzentwicklung der pädagogischen Fachkräfte und die Qualität der Bildungsangebote und pädagogischen Prozesse im Sinne der BNE hatte. Darüber hinaus wurde auch analysiert, inwiefern die Prozessbegleitung zu einer ganzheitlichen Transformation der Lern- und Lehrumgebung in Richtung einer strukturellen Verankerung der BNE in den Kitas beitrug. Neben pädagogischen Konzepten schloss dies auch die Bereiche der nachhaltigen Beschaffung und Verpflegung im Sinne eines nachhaltigen Speiseplans ein. Um beobachtete Effekte und Wirkungen eindeutig der Prozessbegleitung zuordnen zu können, wurde die Wirkungsanalyse auf einem quasi-experimentellen Design aufgebaut, das durch die Befragung von Vergleichsgruppen (Kitas ohne Teilnahme an einer Prozessbegleitung) realisiert wurde. Im Prozess der Datenerhebung wurden qualitative und quantitative Erhebungsmethoden miteinander kombiniert.
Evaluierung des Projekts „Kinder in Flüchtlingsunterkünften schützen, fördern und beteiligen (Hamburg)“
Plan International Deutschland e.V. engagiert sich für die Umsetzung der internationalen Mindeststandards zum Schutz von Kindern in humanitären Krisen. Das Projekt „Kinder in Flüchtlingsunterkünften schützen, fördern und beteiligen“, das Plan International Deutschland e.V. zwischen Juli 2017 und Juni 2018 in zwei Flüchtlingsunterkünften in Hamburg umsetzte, zielte darauf ab, die Sicherheit der dort lebenden Kinder und Jugendlichen zu stärken, eine kinderfreundliche Umgebung zu schaffen und den Kinderschutz in den Flüchtlingsunterkünften sicherzustellen. Ziel der Maßnahmen war es, die Risiken für Kinder und Jugendliche soweit zu verringern, dass ihr Wohl gesichert ist. Dies geschah, indem ein positives Umfeld für Kinder und Jugendliche geschaffen wurde, in dem die Kinderrechte geachtet werden.
Übergeordnetes Ziel der Evaluation war es, das Projekt “ weitestgehend bilanzierend und damit summativ zu beurteilen. Zugleich wurden in der Evaluation, insbesondere angesichts der fortlaufenden Arbeit mit Kindern und Jugendlichen im Flüchtlingskontext, auch Optimierungspotentiale herausgearbeitet und Handlungsempfehlungen gegeben. Mit einem Schwerpunkt auf dem OECD/DAC-Evaluationskriterium der Effektivität hat die Evaluation aufgezeigt, in welchem Umfang das Projekt die gesetzten Ziele und Ergebnisse erreichen konnte und inwiefern die durchgeführten Aktivitäten zur Erreichung der Projektzielen angemessen waren.
Aus methodischer Sicht wurden ein partizipativer Evaluationsansatz sowie ein Multimethodenansatz verfolgt. Eine Kombination von unterschiedlichen Datenerhebungs- und Auswertungsmethoden trug den besonderen Erfordernissen des Evaluationsgegenstands und der Zielgruppe von Kindern und Jugendlichen Rechnung. Daher hat das Evaluationsteam leitfadengestützte Experteninterviews, Fokusgruppen und kreative Verfahren zur qualitativen Datenerhebung von Kindern angewendet.
