Evaluation von CAPAQUA
Das Projekt CAPAQUA (Development of Educational and Research CAPacity in Eastern Africa for the Sustainable Management of AQUAatic Ecosystems) zielt darauf ab, die Kapazitäten ostafrikanischer Institutionen im Bereich Hochschulbildung, Wissenschaft und Technologie (Higher Education, Science and Technology (HEST)) zu stärken. CAPAQUA wird gemeinsam von der Universität für Bodenkultur (BOKU), Wien, dem IHE Delft Institute for Water Education, der Egerton University (EGU), der Addis Abeba University (AAU), der Bahir Dar University und dem Ethiopian Institute for Agricultural Research, National Fish and Other Aquatic Lives Research Center (EIAR-NFALRC) durchgeführt. Ziel von CAPAQUA ist es dabei, zu einer nachhaltigen Bewirtschaftung der aquatischen Ökosysteme und ihrer Ressourcen beizutragen, die Lebensgrundlagen in Ostafrika zu verbessern und die Erreichung der Sustainable Development Goals zu unterstützen.
Evaluierung fokussierte sich darauf, die Stärken und Schwächen des Projekts zu identifizieren und den Projektpartnern Empfehlungen im Hinblick auf eine höhere Relevanz, Effektivität, Effizienz und Nachhaltigkeit zukünftiger CAPAQUA-Projekte zu geben. Die Evaluierung analysierte zudem, die wichtigsten Einflussfaktoren für das Erreichen bzw. Nichterreichen der erwarteten Projektergebnisse und -ziele. Der Rahmen der Evaluierung bezog sich auf den Projektzeitraum von Oktober 2015 bis September 2018.
Methodisch wurden dabei durch Tiefeninterviews mit Projektmitarbeiter:innen und verschiedenen Stakeholdern, Fokusgruppendiskussionen mit Programmteilnehmer:innen und Alumni sowie Programm- und Projektdokumentationen umfangreiche qualitative und quantitative Daten erhoben. Geografischer Schwerpunkt der Evaluierung lag in Ostafrika mit Fokus auf Uganda, Kenia und Äthiopien, in denen während eines Feldbesuchs die auszuwertenden Informationen gesammelt wurden. Außerdem wurden auch die involvierten Institutionen und weitere Stakeholder in Österreich in die Datenerhebung eingebunden.
Evaluation des Programms „DLR-DAAD Research Fellowships“
Das Deutsche Zentrum für Luft- und Raumfahrt (DLR) setzt seit 2008 gemeinsam mit dem DAAD ein Stipendienprogramm in den Fachbereichen Energie, Luft- und Raumfahrt und Transport um. Es zielt darauf ab, einen Beitrag zur stärkeren Internationalisierung der DLR-Institute zu leisten sowie künftige Forscherpersönlichkeiten zu entwickeln, die Deutschland als Partner und Freunde verbunden sind. Ziel der Evaluation des Programms war einerseits, im Sinne einer Bilanzierung die bisherigen mittel- bis langfristigen Wirkungen des Programms zu bewerten. Andererseits sollte die Evaluation mit Blick auf eine mögliche Fortführung des Programms eventuelle Optimierungspotenziale aufdecken und Vorschläge zu damit verbundenen Veränderungen entwickeln. In methodischer Hinsicht legte die Evaluation einen Mix aus qualitativen und quantitativen Erhebungs- und Auswertungsmethoden zu Grunde. Dabei wurden Leitfadeninterviews, Fokusgruppen, Standortbegehungen sowie eine Online-Befragung durchgeführt.
Evaluierung des Projekts „Kinder in Flüchtlingsunterkünften schützen, fördern und beteiligen (Hamburg)“
Plan International Deutschland e.V. engagiert sich für die Umsetzung der internationalen Mindeststandards zum Schutz von Kindern in humanitären Krisen. Das Projekt „Kinder in Flüchtlingsunterkünften schützen, fördern und beteiligen“, das Plan International Deutschland e.V. zwischen Juli 2017 und Juni 2018 in zwei Flüchtlingsunterkünften in Hamburg umsetzte, zielte darauf ab, die Sicherheit der dort lebenden Kinder und Jugendlichen zu stärken, eine kinderfreundliche Umgebung zu schaffen und den Kinderschutz in den Flüchtlingsunterkünften sicherzustellen. Ziel der Maßnahmen war es, die Risiken für Kinder und Jugendliche soweit zu verringern, dass ihr Wohl gesichert ist. Dies geschah, indem ein positives Umfeld für Kinder und Jugendliche geschaffen wurde, in dem die Kinderrechte geachtet werden.
Übergeordnetes Ziel der Evaluation war es, das Projekt “ weitestgehend bilanzierend und damit summativ zu beurteilen. Zugleich wurden in der Evaluation, insbesondere angesichts der fortlaufenden Arbeit mit Kindern und Jugendlichen im Flüchtlingskontext, auch Optimierungspotentiale herausgearbeitet und Handlungsempfehlungen gegeben. Mit einem Schwerpunkt auf dem OECD/DAC-Evaluationskriterium der Effektivität hat die Evaluation aufgezeigt, in welchem Umfang das Projekt die gesetzten Ziele und Ergebnisse erreichen konnte und inwiefern die durchgeführten Aktivitäten zur Erreichung der Projektzielen angemessen waren.
Aus methodischer Sicht wurden ein partizipativer Evaluationsansatz sowie ein Multimethodenansatz verfolgt. Eine Kombination von unterschiedlichen Datenerhebungs- und Auswertungsmethoden trug den besonderen Erfordernissen des Evaluationsgegenstands und der Zielgruppe von Kindern und Jugendlichen Rechnung. Daher hat das Evaluationsteam leitfadengestützte Experteninterviews, Fokusgruppen und kreative Verfahren zur qualitativen Datenerhebung von Kindern angewendet.
Wissenschaftliche Begleitung einer Wirkungsanalyse des Projektes „egal war gestern – Richtung Nachhaltigkeit an beruflichen Schulen“
Der Landesbund für Vogelschutz in Bayern e.V. (LBV) führte im Schuljahr 2018/19 zum zweiten Mal das Projekt „egal war gestern & Richtung Nachhaltigkeit an beruflichen Schulen“ durch. Es zielte darauf ab, zu einer Mobilisierung der Jugend für Nachhaltigkeitsfragen beizutragen. Das Projekt richtete sich an Schüler:innen bayerischer beruflicher Schulen. Mit dem Projekt sollte ihre Aufmerksamkeit in dieser wichtigen Lebensphase der beruflichen Orientierung auf Nachhaltigkeitsthemen gelenkt und ihr Bewusstsein für entsprechende Themen gestärkt werden. Hierzu setzten die Schüler:innen eigenverantwortlich Projektideen für einen nachhaltigeren Schulalltag an ihren Schulen um. Das Projekt wurde einer Wirkungsanalyse unterzogen, welche im Rahmen einer begleitenden Evaluation gemeinsam von LBV und CEval GmbH durchgeführt wurde. Ziel war es zu ermitteln, ob die durch das Projekt angestrebten Wirkungen tatsächlich eintreten, ob sich also die Nachhaltigkeitseinstellungen und das -verhalten der teilnehmenden Schüler:innen verändern und ob es gelingt, das Thema Nachhaltigkeit noch besser an bayrischen beruflichen Schulen zu verankern. In methodischer Hinsicht wurde eine standardisierte Vorher-Nachher-Befragung der am Projekt teilnehmenden Schüler:innen (Interventionsgruppe) sowie einer Vergleichsgruppe durchgeführt. Zusätzlich wurden vor und nach dem Projekt leitfadengestützte Interviews mit dem die Projekte betreuenden Lehrpersonal geführt.
Begleitende Evaluation des Studienbegleitprogramms des Masterstudiengangs AMASE
Die European School of Materials (EUSMAT) der Universität des Saarlandes bietet im Konsortium mit drei weiteren europäischen Universitäten (Luleå Technical University, Schweden, Barcelona Tech, Spanien und Université de Lorraine, Frankreich) den internationalen Masterstudiengang AMASE (Advanced Materials Science and Engineering) an. Die Studierenden haben die Möglichkeit, zu Beginn des Studiums an einer Einführungswoche in Saarbrücken teilzunehmen, die darauf abzielt, eine grundlegende Orientierung bezüglich des Studienverlaufs zu vermitteln sowie mithilfe von Trainings diverse Schlüsselkompetenzen zu stärken. Nach dem ersten Jahr des zweijährigen Masterstudiums wird den Studierenden zudem die Teilnahme an einer Sommerschule in Saarbrücken angeboten, deren Ziel es ist, die Studierenden mit Blick auf Ihren Berufseinstieg zu unterstützen.
Beide Veranstaltungen wurden als Bestandteil des Studienbegleitprogramms evaluiert. Im Rahmen einer begleitenden Evaluation stand die Ermittlung des Nutzens der beiden Angebote für die Zielgruppe im Mittelpunkt. In methodischer Hinsicht wurden hierfür zwei standardisierte Befragungen sowie Fokusgruppendiskussionen mit den Teilnehmenden der beiden Veranstaltungen durchgeführt.
Integration des Programms „Servicestelle Kommunen in der Einen Welt“ (SKEW) in das M&E-System von Engagement Global
Anfang 2012 wurde mit Engagement Global gGmbH auf Bundesebene eine zentrale Einrichtung zur Förderung und Koordination des entwicklungspolitischen Engagements zivilgesellschaftlicher, kommunaler und privatwirtschaftlicher Akteure sowie zur entwicklungspolitischen Informations- und Bildungsarbeit geschaffen. Die SKEW & ein Programm von Engagement Global & fokussiert sich insbesondere auf die Förderung von kommunaler Entwicklungszusammenarbeit. Um sowohl die zweckgemäße Verwendung dieser Mittel, als auch vor allem die Wirksamkeit ihres Einsatzes belegen zu können, hat Engagement Global für alle Fachbereiche und Programme die Grundlagen zur technischen Implementierung eines umfassenden Monitoring- und Evaluations- (M&E) System geschaffen.
Da die SKEW in der damaligen Entwicklung des Monitoringsystems ausgenommen wurde, wurden waren das CEval und ISPO nun damit beauftragt worden, die Einbindung der SKEW in das organisationsweite Monitoringsystem vorzunehmen. Wie bei der Konzeption des hausweiten M&E-Systems werden wurden zuerst die Wirkungsmodelle und Indikatoren überprüft oder entwickelt. Die Zielsetzungen und Indikatoren werden wurden daraufhin in die strategischen Richtungsaussagen von Engagement Global integriert. Um die Erstellung eines Monitoringsystems für die SKEW zu vervollständigen, wird wurde zudem im nächsten Schritt ein Datenerhebungsplan erstellt und die zugehörigen Datenerhebungsinstrumente werden (weiter-) entwickelt.
Evaluation der Webseite www.bne-portal.de
Die Deutsche UNESCO-Kommission ist eine Mittlerorganisation im Bereich der multilateralen Kultur-, Bildungs-, Wissenschafts- und Medienpolitik. Mit der Webseite www.bne-portal.de unterstützt die Deutsche UNESCO-Kommission das Global Action Programme on Education for Sustainable Development (dt. Weltaktionsprogramm Bildung für nachhaltige Entwicklung). Die Webseite möchte die inhaltliche Einstiegsplattform für (künftige) nationale BNE-Akteure sein. Nach ihrem Relaunch im Jahr 2016 und einer Laufzeit von einem Jahr wurde die Webseite www.bne-portal.de durch die CEval GmbH evaluiert werden.
Die Evaluation sollte die Website hinsichtlich folgender Aspekte bewerten:
(a) Verständlichkeit, fachliche Relevanz und Attraktivität der bereitgestellten Informationen,
(b) Attraktivität von Design und Aufbau,
(c) Auffindbarkeit von Informationen,
(d) Praxisrelevanz der Informationen,
(e) Eignung der Kontaktmöglichkeiten,
(f) Erfüllung von Nutzererwartungen,
(g) Nutzungsintensität,
(h) Bekanntheitsgrad/Attraktivität der angebotenen Lehrmaterialsammlung und
(i) Bekanntheitsgrad/Attraktivität der angebotenen Akteursdatenbank.
Die Evaluation basierte auf einer Online-Nutzerbefragung und quantitativer Datenauswertung.
Formative Evaluation der Out-of-School-Children Initiative (OOSCI)
Im Focus dieser Evaluierung stand die Out-of-School-Children Initiative (OOSCI) von UNICEF und dem UNESCO Institute for Statistics (UIS). Die Initiatve wurde im Jahr 2010 initiiert, um die Anzahl von Kindern, die nicht zur Schule gehen, in den Partnerländern zu reduzieren. Zur Erreichung dieser Zielsetzung wurden einmal umfassende Profile von Kindern, die nicht zur Schule gehen, in jedem Land erstellt, die spezifischen Barrieren in jedem Land identifiziert, die dazu beitragen, dass Kinder nicht zur Schule gehen und Empfehlungen für politische und strategische Änderungen entwickelt, um diese Barrieren zu adressieren.
Die Evaluierung zielte darauf ab, die Validität der Theory of Change und ihrer Annahmen zu testen. Dadurch wurde die Programmlogik gestärkt und der Fortschritt in der Zielerreichung der Reduzierung von Kindern, die nicht die Schule besuchen, bewertet. Außerdem lieferte die Evaluierung detaillierte Informationen über den Nutzen der Initiative für die verschiedenen Stakeholder. Zudem wurden die Ergebnisse der Evaluierung dazu genutzt, den Rechenschaftspflichten gegenüber den Geldgebern nachzukommen.
Im Zentrum der Evaluierung stand eine Dokumentenanalyse zur Bewertung des Fortschritts durch OOSCI für eine Stichprobe von 42 Ländern. Die Inhalte der Dokumente wurden zur Beantwortung der Evaluationsfragen auf einer vierstufigen Skala bewertet. Neben einer deskriptiven Analyse wurden diese Kodierungen auch für eine Qualitative Comparative Analysis (QCA) genutzt. QCA ermöglichte die Analyse, welche Kombinationen von Merkmalen zu einem bestimmten Outcome führt. Zusätzliches Instrument der Datenerhebung war eine Onlinebefragung aller UNICEF Länderbüros. Es wurden weitere qualitative Daten in den USA und in acht Länderbesuchen erhoben. Die Evaluierung wurde zusammen mit Proman und weiteren Consultants durchgeführt. CEval war in der Evaluierung für die Evaluationsmethodik verantwortlich.
Evaluation des arbeitsweltbezogenen Demografie-Monitorings demowanda: Bedarfsorientiertes Coaching zur Durchführung einer Selbstevaluation
„Die Bundesanstalt (BAuA) für Arbeitsschutz und Arbeitsmedizin erforscht die Bedingungen und die Entwicklungen innerhalb der Erwerbsarbeit, um Arbeitnehmerinnen und Arbeitnehmer heute und in Zukunft bestmöglich zu schützen und zu fördern“. Unter anderem leitet die BAuA das Projekt Demografischer Wandel in der Arbeitswelt (demowanda). demowanda ist ein Demografie-Monitoringsystem, dessen Entwicklung vom Bundesministerium für Arbeit und Soziales beauftragt wurde.
Die BAua hat eine Selbstevaluation von demowanda – das Kollaborationsprojekt mit BiB, BIBB, DZA, IAB, RKI – durchgeführt. Gegenstand dieser Selbstevaluation durch die BAuA waren die Analyse und Bewertung des Verlaufs und der Zielerreichung sowie Wirksamkeit des Projektes demowanda.
Die BAuA hat die CEval GmbH mit der wissenschaftlichen Begleitung der Selbstevaluation beauftragt. Im Rahmen der Evaluationsbegleitung wurden bedarfsorientierte Coachings und Trainings der beteiligten Mitarbeiter:innen durchgeführt. Hierdurch konnten die bereits vorhandenen Evaluationskenntnisse systematisch erweitert werden. Zugleich wurde die konzeptionelle und methodische Qualität der Selbstevaluation durch eine enge Begleitung aller konzeptionellen Schritte gesichert.
Das Coaching umfasste telefonische und Vor-Ort-Beratungen, Inhouse-Schulungen und Workshops sowie Unterstützung bei der Erstellung evaluationsrelevanter Unterlagen und Dokumente und deren Qualitätssicherung.
Begleitende Evaluation des Karriereförderprogramms „Talente sichern – Zukunft gestalten“ (2017-2018)
Das Programm „Talente sichern – Zukunft gestalten“ des Cusanuswerks – Bischöfliche Studienförderung zielt auf die Förderung des weiblichen Führungsnachwuchses. Hierzu setzt das Programm auf Mentoringelemente, also eine tutorielle Betreuung von Stipendiat:innen deutscher Begabtenförderungswerke durch berufserfahrene Akademiker:innen, auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks. Seit Beginn des Karriereförderprogramms im Jahr 2007 führt das CEval zur Qualitätssicherung prozessbegleitende, externe Evaluationen durch. Auch im sechsten Programmdurchlauf 2017-2018 fand eine begleitende Evaluation statt. Zentrale Aufgabe dieser Evaluation war es, den durchführungsverantwortlichen Mitarbeiter:innen des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse sind entsprechend der Zielsetzungen des Programms Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen, zur Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten. Methodisch stützt sich die Evaluation auf standardisierte Online-Befragungen der Mentees und Mentor:innen zu drei Zeitpunkten.
