Evaluierung des Projekts „Kinder in Flüchtlingsunterkünften schützen, fördern und beteiligen (Hamburg)“
Plan International Deutschland e.V. engagiert sich für die Umsetzung der internationalen Mindeststandards zum Schutz von Kindern in humanitären Krisen. Das Projekt „Kinder in Flüchtlingsunterkünften schützen, fördern und beteiligen“, das Plan International Deutschland e.V. zwischen Juli 2017 und Juni 2018 in zwei Flüchtlingsunterkünften in Hamburg umsetzte, zielte darauf ab, die Sicherheit der dort lebenden Kinder und Jugendlichen zu stärken, eine kinderfreundliche Umgebung zu schaffen und den Kinderschutz in den Flüchtlingsunterkünften sicherzustellen. Ziel der Maßnahmen war es, die Risiken für Kinder und Jugendliche soweit zu verringern, dass ihr Wohl gesichert ist. Dies geschah, indem ein positives Umfeld für Kinder und Jugendliche geschaffen wurde, in dem die Kinderrechte geachtet werden.
Übergeordnetes Ziel der Evaluation war es, das Projekt “ weitestgehend bilanzierend und damit summativ zu beurteilen. Zugleich wurden in der Evaluation, insbesondere angesichts der fortlaufenden Arbeit mit Kindern und Jugendlichen im Flüchtlingskontext, auch Optimierungspotentiale herausgearbeitet und Handlungsempfehlungen gegeben. Mit einem Schwerpunkt auf dem OECD/DAC-Evaluationskriterium der Effektivität hat die Evaluation aufgezeigt, in welchem Umfang das Projekt die gesetzten Ziele und Ergebnisse erreichen konnte und inwiefern die durchgeführten Aktivitäten zur Erreichung der Projektzielen angemessen waren.
Aus methodischer Sicht wurden ein partizipativer Evaluationsansatz sowie ein Multimethodenansatz verfolgt. Eine Kombination von unterschiedlichen Datenerhebungs- und Auswertungsmethoden trug den besonderen Erfordernissen des Evaluationsgegenstands und der Zielgruppe von Kindern und Jugendlichen Rechnung. Daher hat das Evaluationsteam leitfadengestützte Experteninterviews, Fokusgruppen und kreative Verfahren zur qualitativen Datenerhebung von Kindern angewendet.
Wissenschaftliche Begleitung einer Wirkungsanalyse des Projektes „egal war gestern – Richtung Nachhaltigkeit an beruflichen Schulen“
Der Landesbund für Vogelschutz in Bayern e.V. (LBV) führte im Schuljahr 2018/19 zum zweiten Mal das Projekt „egal war gestern & Richtung Nachhaltigkeit an beruflichen Schulen“ durch. Es zielte darauf ab, zu einer Mobilisierung der Jugend für Nachhaltigkeitsfragen beizutragen. Das Projekt richtete sich an Schüler:innen bayerischer beruflicher Schulen. Mit dem Projekt sollte ihre Aufmerksamkeit in dieser wichtigen Lebensphase der beruflichen Orientierung auf Nachhaltigkeitsthemen gelenkt und ihr Bewusstsein für entsprechende Themen gestärkt werden. Hierzu setzten die Schüler:innen eigenverantwortlich Projektideen für einen nachhaltigeren Schulalltag an ihren Schulen um. Das Projekt wurde einer Wirkungsanalyse unterzogen, welche im Rahmen einer begleitenden Evaluation gemeinsam von LBV und CEval GmbH durchgeführt wurde. Ziel war es zu ermitteln, ob die durch das Projekt angestrebten Wirkungen tatsächlich eintreten, ob sich also die Nachhaltigkeitseinstellungen und das -verhalten der teilnehmenden Schüler:innen verändern und ob es gelingt, das Thema Nachhaltigkeit noch besser an bayrischen beruflichen Schulen zu verankern. In methodischer Hinsicht wurde eine standardisierte Vorher-Nachher-Befragung der am Projekt teilnehmenden Schüler:innen (Interventionsgruppe) sowie einer Vergleichsgruppe durchgeführt. Zusätzlich wurden vor und nach dem Projekt leitfadengestützte Interviews mit dem die Projekte betreuenden Lehrpersonal geführt.
Begleitende Evaluation des Studienbegleitprogramms des Masterstudiengangs AMASE
Die European School of Materials (EUSMAT) der Universität des Saarlandes bietet im Konsortium mit drei weiteren europäischen Universitäten (Luleå Technical University, Schweden, Barcelona Tech, Spanien und Université de Lorraine, Frankreich) den internationalen Masterstudiengang AMASE (Advanced Materials Science and Engineering) an. Die Studierenden haben die Möglichkeit, zu Beginn des Studiums an einer Einführungswoche in Saarbrücken teilzunehmen, die darauf abzielt, eine grundlegende Orientierung bezüglich des Studienverlaufs zu vermitteln sowie mithilfe von Trainings diverse Schlüsselkompetenzen zu stärken. Nach dem ersten Jahr des zweijährigen Masterstudiums wird den Studierenden zudem die Teilnahme an einer Sommerschule in Saarbrücken angeboten, deren Ziel es ist, die Studierenden mit Blick auf Ihren Berufseinstieg zu unterstützen.
Beide Veranstaltungen wurden als Bestandteil des Studienbegleitprogramms evaluiert. Im Rahmen einer begleitenden Evaluation stand die Ermittlung des Nutzens der beiden Angebote für die Zielgruppe im Mittelpunkt. In methodischer Hinsicht wurden hierfür zwei standardisierte Befragungen sowie Fokusgruppendiskussionen mit den Teilnehmenden der beiden Veranstaltungen durchgeführt.
Integration des Programms „Servicestelle Kommunen in der Einen Welt“ (SKEW) in das M&E-System von Engagement Global
Anfang 2012 wurde mit Engagement Global gGmbH auf Bundesebene eine zentrale Einrichtung zur Förderung und Koordination des entwicklungspolitischen Engagements zivilgesellschaftlicher, kommunaler und privatwirtschaftlicher Akteure sowie zur entwicklungspolitischen Informations- und Bildungsarbeit geschaffen. Die SKEW & ein Programm von Engagement Global & fokussiert sich insbesondere auf die Förderung von kommunaler Entwicklungszusammenarbeit. Um sowohl die zweckgemäße Verwendung dieser Mittel, als auch vor allem die Wirksamkeit ihres Einsatzes belegen zu können, hat Engagement Global für alle Fachbereiche und Programme die Grundlagen zur technischen Implementierung eines umfassenden Monitoring- und Evaluations- (M&E) System geschaffen.
Da die SKEW in der damaligen Entwicklung des Monitoringsystems ausgenommen wurde, wurden waren das CEval und ISPO nun damit beauftragt worden, die Einbindung der SKEW in das organisationsweite Monitoringsystem vorzunehmen. Wie bei der Konzeption des hausweiten M&E-Systems werden wurden zuerst die Wirkungsmodelle und Indikatoren überprüft oder entwickelt. Die Zielsetzungen und Indikatoren werden wurden daraufhin in die strategischen Richtungsaussagen von Engagement Global integriert. Um die Erstellung eines Monitoringsystems für die SKEW zu vervollständigen, wird wurde zudem im nächsten Schritt ein Datenerhebungsplan erstellt und die zugehörigen Datenerhebungsinstrumente werden (weiter-) entwickelt.
Externe Evaluation des Netherlands Fellowship Programme (NFP II) und der Netherlands Initiative for Capacity in Higher Education (NICHE II)
Im Auftrag des niederländischen Außenministeriums (MFA) führte das CEval eine externe Evaluation des ‚Dutch Fellowship Programme‘ (NFP II) und der ‚Netherlands Initiative for Capacity Development in Higher Education‘ (NICHE II) durch. Diese Programme, die vom MFA finanziert und von der niederländischen Organisation für internationale Zusammenarbeit in der Hochschulbildung, ‚EP-Nuffic‘ verwaltet werden, fördern die Entwicklung von Kapazitäten im Bereich der Hochschulbildung in Partnerländern der niederländischen Entwicklungszusammenarbeit.
Hauptziel von NFP und NICHE ist es, den quantitativen und qualitativen Mangel an qualifiziertem Fachpersonal in Entwicklungsländern zu reduzieren und zum Aufbau nachhaltiger Kapazitäten im Rahmen der Armutsreduzierung beizutragen. Unter NFP werden Stipendien an Berufstätige vergeben, damit diese an Schulungen und Aufbaustudiengängen in den Niederlanden teilnehmen können. NICHE zielt auf die Stärkung institutionelle Kapazitäten zur Verbesserung der Qualität, Relevanz und Gender-Sensibilität der postsekundären Ausbildung in den NICHE-Partnerländern.
Die Evaluation deckte den Umsetzungszeitraum der beiden Programme von 2002 bis 2015 ab, wobei der Fokus auf der letzten Projektphase seit 2012 lag, die sich durch eine besondere Ausrichtung der Programme auf Wirtschaftsdiplomatie und eine stärkere Angleichung an die vier Schwerpunktthemen der niederländischen Entwicklungsstrategie (Wasser, sexuelle und reproduktive Gesundheit und Rechte, Sicherheit und Rechtsstaatlichkeit und Nahrungsmittelsicherheit) auszeichnete. Die Evaluation diente dabei insbesondere zur Rechenschaftslegung über die hierfür von den Niederlanden bereitgestellten Finanzmittel sowie zur Generierung von Lernerfahrungen zur zukünftigen Programm- und Strategieentwicklung.
Im Rahmen der Evaluation wurden beide Programme gemäß der OECD/DAC-Kriterien hinsichtlich ihrer Relevanz, Effizienz, Effektivität, Wirkung und Nachhaltigkeit bewertet. Auf Grundlage der Ergebnisse wurden Empfehlungen zur zukünftigen Optimierung der Programme entwickelt. Die Evaluation wurde in Zusammenarbeit mit ACE Europe, einem belgischen Beratungsunternehmen, umgesetzt.
Begleitende Evaluation des Karriereförderprogramms „Talente sichern – Zukunft gestalten“ (2019/2020)
Das Programm „Talente sichern – Zukunft gestalten“ des Cusanuswerks – Bischöfliche Studienförderung zielt auf die Förderung des weiblichen Führungsnachwuchses. Hierzu setzt das Programm auf Mentoringelemente, also eine tutorielle Betreuung von Stipendiat:innen deutscher Begabtenförderungswerke durch berufserfahrene Akademiker:innen, auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks. Seit Beginn des Karriereförderprogramms im Jahr 2007 führt das CEval zur Qualitätssicherung prozessbegleitende, externe Evaluationen durch. Auch im siebten Programmdurchlauf 2019/2020 fand eine begleitende Evaluation statt. Zentrale Aufgabe dieser Evaluation war es, den durchführungsverantwortlichen Mitarbeiter:innen des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse waren entsprechend der Zielsetzungen des Programms Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen, zur Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten. Methodisch stützte sich die Evaluation auf standardisierte Online-Befragungen der Mentees und Mentorinnen und Mentoren zu drei Zeitpunkten.
Evaluation der Webseite www.bne-portal.de
Die Deutsche UNESCO-Kommission ist eine Mittlerorganisation im Bereich der multilateralen Kultur-, Bildungs-, Wissenschafts- und Medienpolitik. Mit der Webseite www.bne-portal.de unterstützt die Deutsche UNESCO-Kommission das Global Action Programme on Education for Sustainable Development (dt. Weltaktionsprogramm Bildung für nachhaltige Entwicklung). Die Webseite möchte die inhaltliche Einstiegsplattform für (künftige) nationale BNE-Akteure sein. Nach ihrem Relaunch im Jahr 2016 und einer Laufzeit von einem Jahr wurde die Webseite www.bne-portal.de durch die CEval GmbH evaluiert werden.
Die Evaluation sollte die Website hinsichtlich folgender Aspekte bewerten:
(a) Verständlichkeit, fachliche Relevanz und Attraktivität der bereitgestellten Informationen,
(b) Attraktivität von Design und Aufbau,
(c) Auffindbarkeit von Informationen,
(d) Praxisrelevanz der Informationen,
(e) Eignung der Kontaktmöglichkeiten,
(f) Erfüllung von Nutzererwartungen,
(g) Nutzungsintensität,
(h) Bekanntheitsgrad/Attraktivität der angebotenen Lehrmaterialsammlung und
(i) Bekanntheitsgrad/Attraktivität der angebotenen Akteursdatenbank.
Die Evaluation basierte auf einer Online-Nutzerbefragung und quantitativer Datenauswertung.
Formative Evaluation der Out-of-School-Children Initiative (OOSCI)
Im Focus dieser Evaluierung stand die Out-of-School-Children Initiative (OOSCI) von UNICEF und dem UNESCO Institute for Statistics (UIS). Die Initiatve wurde im Jahr 2010 initiiert, um die Anzahl von Kindern, die nicht zur Schule gehen, in den Partnerländern zu reduzieren. Zur Erreichung dieser Zielsetzung wurden einmal umfassende Profile von Kindern, die nicht zur Schule gehen, in jedem Land erstellt, die spezifischen Barrieren in jedem Land identifiziert, die dazu beitragen, dass Kinder nicht zur Schule gehen und Empfehlungen für politische und strategische Änderungen entwickelt, um diese Barrieren zu adressieren.
Die Evaluierung zielte darauf ab, die Validität der Theory of Change und ihrer Annahmen zu testen. Dadurch wurde die Programmlogik gestärkt und der Fortschritt in der Zielerreichung der Reduzierung von Kindern, die nicht die Schule besuchen, bewertet. Außerdem lieferte die Evaluierung detaillierte Informationen über den Nutzen der Initiative für die verschiedenen Stakeholder. Zudem wurden die Ergebnisse der Evaluierung dazu genutzt, den Rechenschaftspflichten gegenüber den Geldgebern nachzukommen.
Im Zentrum der Evaluierung stand eine Dokumentenanalyse zur Bewertung des Fortschritts durch OOSCI für eine Stichprobe von 42 Ländern. Die Inhalte der Dokumente wurden zur Beantwortung der Evaluationsfragen auf einer vierstufigen Skala bewertet. Neben einer deskriptiven Analyse wurden diese Kodierungen auch für eine Qualitative Comparative Analysis (QCA) genutzt. QCA ermöglichte die Analyse, welche Kombinationen von Merkmalen zu einem bestimmten Outcome führt. Zusätzliches Instrument der Datenerhebung war eine Onlinebefragung aller UNICEF Länderbüros. Es wurden weitere qualitative Daten in den USA und in acht Länderbesuchen erhoben. Die Evaluierung wurde zusammen mit Proman und weiteren Consultants durchgeführt. CEval war in der Evaluierung für die Evaluationsmethodik verantwortlich.
Evaluation des arbeitsweltbezogenen Demografie-Monitorings demowanda: Bedarfsorientiertes Coaching zur Durchführung einer Selbstevaluation
„Die Bundesanstalt (BAuA) für Arbeitsschutz und Arbeitsmedizin erforscht die Bedingungen und die Entwicklungen innerhalb der Erwerbsarbeit, um Arbeitnehmerinnen und Arbeitnehmer heute und in Zukunft bestmöglich zu schützen und zu fördern“. Unter anderem leitet die BAuA das Projekt Demografischer Wandel in der Arbeitswelt (demowanda). demowanda ist ein Demografie-Monitoringsystem, dessen Entwicklung vom Bundesministerium für Arbeit und Soziales beauftragt wurde.
Die BAua hat eine Selbstevaluation von demowanda – das Kollaborationsprojekt mit BiB, BIBB, DZA, IAB, RKI – durchgeführt. Gegenstand dieser Selbstevaluation durch die BAuA waren die Analyse und Bewertung des Verlaufs und der Zielerreichung sowie Wirksamkeit des Projektes demowanda.
Die BAuA hat die CEval GmbH mit der wissenschaftlichen Begleitung der Selbstevaluation beauftragt. Im Rahmen der Evaluationsbegleitung wurden bedarfsorientierte Coachings und Trainings der beteiligten Mitarbeiter:innen durchgeführt. Hierdurch konnten die bereits vorhandenen Evaluationskenntnisse systematisch erweitert werden. Zugleich wurde die konzeptionelle und methodische Qualität der Selbstevaluation durch eine enge Begleitung aller konzeptionellen Schritte gesichert.
Das Coaching umfasste telefonische und Vor-Ort-Beratungen, Inhouse-Schulungen und Workshops sowie Unterstützung bei der Erstellung evaluationsrelevanter Unterlagen und Dokumente und deren Qualitätssicherung.
Begleitende Evaluation des Karriereförderprogramms „Talente sichern – Zukunft gestalten“ (2017-2018)
Das Programm „Talente sichern – Zukunft gestalten“ des Cusanuswerks – Bischöfliche Studienförderung zielt auf die Förderung des weiblichen Führungsnachwuchses. Hierzu setzt das Programm auf Mentoringelemente, also eine tutorielle Betreuung von Stipendiat:innen deutscher Begabtenförderungswerke durch berufserfahrene Akademiker:innen, auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks. Seit Beginn des Karriereförderprogramms im Jahr 2007 führt das CEval zur Qualitätssicherung prozessbegleitende, externe Evaluationen durch. Auch im sechsten Programmdurchlauf 2017-2018 fand eine begleitende Evaluation statt. Zentrale Aufgabe dieser Evaluation war es, den durchführungsverantwortlichen Mitarbeiter:innen des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse sind entsprechend der Zielsetzungen des Programms Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen, zur Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten. Methodisch stützt sich die Evaluation auf standardisierte Online-Befragungen der Mentees und Mentor:innen zu drei Zeitpunkten.