Evaluation von APPEAR Projekten (Programmphasen I und II)
Das Austrian Partnership Programme in Higher Education and Research for Development (APPEAR) wird von der Austrian Development Agency (ADA) konzipiert, geleitet und finanziert, um die Strategie „Higher Education and Scientific Cooperation“ zur Unterstützung von Hochschulen und Forschung für Entwicklung auf akademischer Ebene umzusetzen. Mit Unterstützung des World University Service (WUS) Österreich werden die geförderten Projekte von der Österreichischen Agentur für internationale Mobilität und Zusammenarbeit in Bildung, Wissenschaft und Forschung (OeAD GmbH) durchgeführt. Das übergeordnete Ziel von APPEAR ist die Stärkung der institutionellen Kapazitäten in den Bereichen Hochschulbildung, Forschung und Management durch akademische Partnerschaften mit österreichischen Hochschulen und durch Stipendien. Ziel der Partnerschaften ist es, die allgemeinen Standards in den Bereichen Hochschulbildung, Forschung und Management durch Wissenstransfer und innovative Projekte zu verbessern. Die Erreichung dieser Ziele soll schließlich zu einer wirksamen und nachhaltigen Armutsbekämpfung in den Partnerländern beitragen.
Übergeordnetes Ziel der Evaluation war es, die laufenden und abgeschlossenen Projekte der APPEAR-Phasen I und II zu bewerten. Dabei wurde analysiert, inwiefern die APPEAR-Richtlinien und Grundprinzipien bei der Projektumsetzung eingehalten wurden und in welchem Umfang, die Projekte ihre Ziele und Ergebnisse erreichen konnten. Darüber hinaus wurden die Projekte nach den OECD/DAC-Kriterien Relevanz, Effektivität, Effizienz, Wirkung und Nachhaltigkeit bewertet. Dabei zielte die Evaluierung darauf ab, die Stärken, Schwächen und Herausforderungen der APPEAR-Projekte zu identifizieren und Schlussfolgerungen, Lehren und Empfehlungen für die verbleibenden oder zukünftigen Projekte zu präsentieren.
Bei der Bewertung kamen verschiedene Methoden zum Einsatz. Primärdaten wurden bei Projektbesuchen in Äthiopien und Uganda, Interviews und Gruppendiskussionen mit Projektpartnern in Österreich sowie in online Interviews mit Projektmitarbeiter:innen in Nicaragua erhoben. Die Datenerhebungsinstrumente umfassen auch teilstandardisierte Befragungen, Programm- und Projektdokumentationen sowie frühere Programme.
Evaluation von CAPAQUA
Das Projekt CAPAQUA (Development of Educational and Research CAPacity in Eastern Africa for the Sustainable Management of AQUAatic Ecosystems) zielt darauf ab, die Kapazitäten ostafrikanischer Institutionen im Bereich Hochschulbildung, Wissenschaft und Technologie (Higher Education, Science and Technology (HEST)) zu stärken. CAPAQUA wird gemeinsam von der Universität für Bodenkultur (BOKU), Wien, dem IHE Delft Institute for Water Education, der Egerton University (EGU), der Addis Abeba University (AAU), der Bahir Dar University und dem Ethiopian Institute for Agricultural Research, National Fish and Other Aquatic Lives Research Center (EIAR-NFALRC) durchgeführt. Ziel von CAPAQUA ist es dabei, zu einer nachhaltigen Bewirtschaftung der aquatischen Ökosysteme und ihrer Ressourcen beizutragen, die Lebensgrundlagen in Ostafrika zu verbessern und die Erreichung der Sustainable Development Goals zu unterstützen.
Evaluierung fokussierte sich darauf, die Stärken und Schwächen des Projekts zu identifizieren und den Projektpartnern Empfehlungen im Hinblick auf eine höhere Relevanz, Effektivität, Effizienz und Nachhaltigkeit zukünftiger CAPAQUA-Projekte zu geben. Die Evaluierung analysierte zudem, die wichtigsten Einflussfaktoren für das Erreichen bzw. Nichterreichen der erwarteten Projektergebnisse und -ziele. Der Rahmen der Evaluierung bezog sich auf den Projektzeitraum von Oktober 2015 bis September 2018.
Methodisch wurden dabei durch Tiefeninterviews mit Projektmitarbeiter:innen und verschiedenen Stakeholdern, Fokusgruppendiskussionen mit Programmteilnehmer:innen und Alumni sowie Programm- und Projektdokumentationen umfangreiche qualitative und quantitative Daten erhoben. Geografischer Schwerpunkt der Evaluierung lag in Ostafrika mit Fokus auf Uganda, Kenia und Äthiopien, in denen während eines Feldbesuchs die auszuwertenden Informationen gesammelt wurden. Außerdem wurden auch die involvierten Institutionen und weitere Stakeholder in Österreich in die Datenerhebung eingebunden.
Evaluation des Programms „DLR-DAAD Research Fellowships“
Das Deutsche Zentrum für Luft- und Raumfahrt (DLR) setzt seit 2008 gemeinsam mit dem DAAD ein Stipendienprogramm in den Fachbereichen Energie, Luft- und Raumfahrt und Transport um. Es zielt darauf ab, einen Beitrag zur stärkeren Internationalisierung der DLR-Institute zu leisten sowie künftige Forscherpersönlichkeiten zu entwickeln, die Deutschland als Partner und Freunde verbunden sind. Ziel der Evaluation des Programms war einerseits, im Sinne einer Bilanzierung die bisherigen mittel- bis langfristigen Wirkungen des Programms zu bewerten. Andererseits sollte die Evaluation mit Blick auf eine mögliche Fortführung des Programms eventuelle Optimierungspotenziale aufdecken und Vorschläge zu damit verbundenen Veränderungen entwickeln. In methodischer Hinsicht legte die Evaluation einen Mix aus qualitativen und quantitativen Erhebungs- und Auswertungsmethoden zu Grunde. Dabei wurden Leitfadeninterviews, Fokusgruppen, Standortbegehungen sowie eine Online-Befragung durchgeführt.
Evaluierung des Projekts „Kinder in Flüchtlingsunterkünften schützen, fördern und beteiligen (Hamburg)“
Plan International Deutschland e.V. engagiert sich für die Umsetzung der internationalen Mindeststandards zum Schutz von Kindern in humanitären Krisen. Das Projekt „Kinder in Flüchtlingsunterkünften schützen, fördern und beteiligen“, das Plan International Deutschland e.V. zwischen Juli 2017 und Juni 2018 in zwei Flüchtlingsunterkünften in Hamburg umsetzte, zielte darauf ab, die Sicherheit der dort lebenden Kinder und Jugendlichen zu stärken, eine kinderfreundliche Umgebung zu schaffen und den Kinderschutz in den Flüchtlingsunterkünften sicherzustellen. Ziel der Maßnahmen war es, die Risiken für Kinder und Jugendliche soweit zu verringern, dass ihr Wohl gesichert ist. Dies geschah, indem ein positives Umfeld für Kinder und Jugendliche geschaffen wurde, in dem die Kinderrechte geachtet werden.
Übergeordnetes Ziel der Evaluation war es, das Projekt “ weitestgehend bilanzierend und damit summativ zu beurteilen. Zugleich wurden in der Evaluation, insbesondere angesichts der fortlaufenden Arbeit mit Kindern und Jugendlichen im Flüchtlingskontext, auch Optimierungspotentiale herausgearbeitet und Handlungsempfehlungen gegeben. Mit einem Schwerpunkt auf dem OECD/DAC-Evaluationskriterium der Effektivität hat die Evaluation aufgezeigt, in welchem Umfang das Projekt die gesetzten Ziele und Ergebnisse erreichen konnte und inwiefern die durchgeführten Aktivitäten zur Erreichung der Projektzielen angemessen waren.
Aus methodischer Sicht wurden ein partizipativer Evaluationsansatz sowie ein Multimethodenansatz verfolgt. Eine Kombination von unterschiedlichen Datenerhebungs- und Auswertungsmethoden trug den besonderen Erfordernissen des Evaluationsgegenstands und der Zielgruppe von Kindern und Jugendlichen Rechnung. Daher hat das Evaluationsteam leitfadengestützte Experteninterviews, Fokusgruppen und kreative Verfahren zur qualitativen Datenerhebung von Kindern angewendet.
Wissenschaftliche Begleitung einer Wirkungsanalyse des Projektes „egal war gestern – Richtung Nachhaltigkeit an beruflichen Schulen“
Der Landesbund für Vogelschutz in Bayern e.V. (LBV) führte im Schuljahr 2018/19 zum zweiten Mal das Projekt „egal war gestern & Richtung Nachhaltigkeit an beruflichen Schulen“ durch. Es zielte darauf ab, zu einer Mobilisierung der Jugend für Nachhaltigkeitsfragen beizutragen. Das Projekt richtete sich an Schüler:innen bayerischer beruflicher Schulen. Mit dem Projekt sollte ihre Aufmerksamkeit in dieser wichtigen Lebensphase der beruflichen Orientierung auf Nachhaltigkeitsthemen gelenkt und ihr Bewusstsein für entsprechende Themen gestärkt werden. Hierzu setzten die Schüler:innen eigenverantwortlich Projektideen für einen nachhaltigeren Schulalltag an ihren Schulen um. Das Projekt wurde einer Wirkungsanalyse unterzogen, welche im Rahmen einer begleitenden Evaluation gemeinsam von LBV und CEval GmbH durchgeführt wurde. Ziel war es zu ermitteln, ob die durch das Projekt angestrebten Wirkungen tatsächlich eintreten, ob sich also die Nachhaltigkeitseinstellungen und das -verhalten der teilnehmenden Schüler:innen verändern und ob es gelingt, das Thema Nachhaltigkeit noch besser an bayrischen beruflichen Schulen zu verankern. In methodischer Hinsicht wurde eine standardisierte Vorher-Nachher-Befragung der am Projekt teilnehmenden Schüler:innen (Interventionsgruppe) sowie einer Vergleichsgruppe durchgeführt. Zusätzlich wurden vor und nach dem Projekt leitfadengestützte Interviews mit dem die Projekte betreuenden Lehrpersonal geführt.
Begleitende Evaluation des Studienbegleitprogramms des Masterstudiengangs AMASE
Die European School of Materials (EUSMAT) der Universität des Saarlandes bietet im Konsortium mit drei weiteren europäischen Universitäten (Luleå Technical University, Schweden, Barcelona Tech, Spanien und Université de Lorraine, Frankreich) den internationalen Masterstudiengang AMASE (Advanced Materials Science and Engineering) an. Die Studierenden haben die Möglichkeit, zu Beginn des Studiums an einer Einführungswoche in Saarbrücken teilzunehmen, die darauf abzielt, eine grundlegende Orientierung bezüglich des Studienverlaufs zu vermitteln sowie mithilfe von Trainings diverse Schlüsselkompetenzen zu stärken. Nach dem ersten Jahr des zweijährigen Masterstudiums wird den Studierenden zudem die Teilnahme an einer Sommerschule in Saarbrücken angeboten, deren Ziel es ist, die Studierenden mit Blick auf Ihren Berufseinstieg zu unterstützen.
Beide Veranstaltungen wurden als Bestandteil des Studienbegleitprogramms evaluiert. Im Rahmen einer begleitenden Evaluation stand die Ermittlung des Nutzens der beiden Angebote für die Zielgruppe im Mittelpunkt. In methodischer Hinsicht wurden hierfür zwei standardisierte Befragungen sowie Fokusgruppendiskussionen mit den Teilnehmenden der beiden Veranstaltungen durchgeführt.
Evaluation der „Richtlinie über die Belohnung erfolgreicher Präventionsarbeit bei den Mitgliedern der Unfallkasse Saarland“
Als Versicherungsträger der gesetzlichen Unfallversicherung für den öffentlichen Dienst setzt sich die Unfallkasse des Saarlandes (UKS) für die Verhütung von Berufskrankheiten, Gesundheitsgefahren am Arbeitsplatz und Arbeitsunfällen ein. Ein wichtiger Bestandteil der Präventionsarbeit besteht dabei in der Vergabe einer Prämie an Mitglieder, die den Arbeits- und Gesundheitsschutz erfolgreich in ihre betriebliche Organisation einbinden konnten und somit auf besonders wenige Aufwendungen durch die UKS angewiesen waren. Mit der zweckgebundenen Prämie werden nicht nur Bemühungen zum Gesundheits- und Arbeitsschutz honoriert, sondern auch Anreize zur Verbesserung der Präventionsarbeit gesetzt.
Im Rahmen der Überprüfung ihres Prämiensystems hatte die UKS das CEval mit der Evaluation der Richtlinie über die Belohnung erfolgreicher Präventionsarbeit bei ihren Mitgliedern beauftragt. Ziel des Beratungsprojekts war die Überarbeitung der kennzahlenbasierten Formel zur Ausschüttung innerhalb der Prämienklasse 1, die die 52 Städte und Kommunen des Saarlandes umfasst.
Externe Evaluation des Netherlands Fellowship Programme (NFP II) und der Netherlands Initiative for Capacity in Higher Education (NICHE II)
Im Auftrag des niederländischen Außenministeriums (MFA) führte das CEval eine externe Evaluation des ‚Dutch Fellowship Programme‘ (NFP II) und der ‚Netherlands Initiative for Capacity Development in Higher Education‘ (NICHE II) durch. Diese Programme, die vom MFA finanziert und von der niederländischen Organisation für internationale Zusammenarbeit in der Hochschulbildung, ‚EP-Nuffic‘ verwaltet werden, fördern die Entwicklung von Kapazitäten im Bereich der Hochschulbildung in Partnerländern der niederländischen Entwicklungszusammenarbeit.
Hauptziel von NFP und NICHE ist es, den quantitativen und qualitativen Mangel an qualifiziertem Fachpersonal in Entwicklungsländern zu reduzieren und zum Aufbau nachhaltiger Kapazitäten im Rahmen der Armutsreduzierung beizutragen. Unter NFP werden Stipendien an Berufstätige vergeben, damit diese an Schulungen und Aufbaustudiengängen in den Niederlanden teilnehmen können. NICHE zielt auf die Stärkung institutionelle Kapazitäten zur Verbesserung der Qualität, Relevanz und Gender-Sensibilität der postsekundären Ausbildung in den NICHE-Partnerländern.
Die Evaluation deckte den Umsetzungszeitraum der beiden Programme von 2002 bis 2015 ab, wobei der Fokus auf der letzten Projektphase seit 2012 lag, die sich durch eine besondere Ausrichtung der Programme auf Wirtschaftsdiplomatie und eine stärkere Angleichung an die vier Schwerpunktthemen der niederländischen Entwicklungsstrategie (Wasser, sexuelle und reproduktive Gesundheit und Rechte, Sicherheit und Rechtsstaatlichkeit und Nahrungsmittelsicherheit) auszeichnete. Die Evaluation diente dabei insbesondere zur Rechenschaftslegung über die hierfür von den Niederlanden bereitgestellten Finanzmittel sowie zur Generierung von Lernerfahrungen zur zukünftigen Programm- und Strategieentwicklung.
Im Rahmen der Evaluation wurden beide Programme gemäß der OECD/DAC-Kriterien hinsichtlich ihrer Relevanz, Effizienz, Effektivität, Wirkung und Nachhaltigkeit bewertet. Auf Grundlage der Ergebnisse wurden Empfehlungen zur zukünftigen Optimierung der Programme entwickelt. Die Evaluation wurde in Zusammenarbeit mit ACE Europe, einem belgischen Beratungsunternehmen, umgesetzt.
Begleitende Evaluation des Karriereförderprogramms „Talente sichern – Zukunft gestalten“ (2019/2020)
Das Programm „Talente sichern – Zukunft gestalten“ des Cusanuswerks – Bischöfliche Studienförderung zielt auf die Förderung des weiblichen Führungsnachwuchses. Hierzu setzt das Programm auf Mentoringelemente, also eine tutorielle Betreuung von Stipendiat:innen deutscher Begabtenförderungswerke durch berufserfahrene Akademiker:innen, auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks. Seit Beginn des Karriereförderprogramms im Jahr 2007 führt das CEval zur Qualitätssicherung prozessbegleitende, externe Evaluationen durch. Auch im siebten Programmdurchlauf 2019/2020 fand eine begleitende Evaluation statt. Zentrale Aufgabe dieser Evaluation war es, den durchführungsverantwortlichen Mitarbeiter:innen des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse waren entsprechend der Zielsetzungen des Programms Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen, zur Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten. Methodisch stützte sich die Evaluation auf standardisierte Online-Befragungen der Mentees und Mentorinnen und Mentoren zu drei Zeitpunkten.
Evaluation der Webseite www.bne-portal.de
Die Deutsche UNESCO-Kommission ist eine Mittlerorganisation im Bereich der multilateralen Kultur-, Bildungs-, Wissenschafts- und Medienpolitik. Mit der Webseite www.bne-portal.de unterstützt die Deutsche UNESCO-Kommission das Global Action Programme on Education for Sustainable Development (dt. Weltaktionsprogramm Bildung für nachhaltige Entwicklung). Die Webseite möchte die inhaltliche Einstiegsplattform für (künftige) nationale BNE-Akteure sein. Nach ihrem Relaunch im Jahr 2016 und einer Laufzeit von einem Jahr wurde die Webseite www.bne-portal.de durch die CEval GmbH evaluiert werden.
Die Evaluation sollte die Website hinsichtlich folgender Aspekte bewerten:
(a) Verständlichkeit, fachliche Relevanz und Attraktivität der bereitgestellten Informationen,
(b) Attraktivität von Design und Aufbau,
(c) Auffindbarkeit von Informationen,
(d) Praxisrelevanz der Informationen,
(e) Eignung der Kontaktmöglichkeiten,
(f) Erfüllung von Nutzererwartungen,
(g) Nutzungsintensität,
(h) Bekanntheitsgrad/Attraktivität der angebotenen Lehrmaterialsammlung und
(i) Bekanntheitsgrad/Attraktivität der angebotenen Akteursdatenbank.
Die Evaluation basierte auf einer Online-Nutzerbefragung und quantitativer Datenauswertung.