Integration des Programms „Servicestelle Kommunen in der Einen Welt“ (SKEW) in das M&E-System von Engagement Global
Anfang 2012 wurde mit Engagement Global gGmbH auf Bundesebene eine zentrale Einrichtung zur Förderung und Koordination des entwicklungspolitischen Engagements zivilgesellschaftlicher, kommunaler und privatwirtschaftlicher Akteure sowie zur entwicklungspolitischen Informations- und Bildungsarbeit geschaffen. Die SKEW & ein Programm von Engagement Global & fokussiert sich insbesondere auf die Förderung von kommunaler Entwicklungszusammenarbeit. Um sowohl die zweckgemäße Verwendung dieser Mittel, als auch vor allem die Wirksamkeit ihres Einsatzes belegen zu können, hat Engagement Global für alle Fachbereiche und Programme die Grundlagen zur technischen Implementierung eines umfassenden Monitoring- und Evaluations- (M&E) System geschaffen.
Da die SKEW in der damaligen Entwicklung des Monitoringsystems ausgenommen wurde, wurden waren das CEval und ISPO nun damit beauftragt worden, die Einbindung der SKEW in das organisationsweite Monitoringsystem vorzunehmen. Wie bei der Konzeption des hausweiten M&E-Systems werden wurden zuerst die Wirkungsmodelle und Indikatoren überprüft oder entwickelt. Die Zielsetzungen und Indikatoren werden wurden daraufhin in die strategischen Richtungsaussagen von Engagement Global integriert. Um die Erstellung eines Monitoringsystems für die SKEW zu vervollständigen, wird wurde zudem im nächsten Schritt ein Datenerhebungsplan erstellt und die zugehörigen Datenerhebungsinstrumente werden (weiter-) entwickelt.
Entwicklung und Implementation eines M&E-Systems für das Projekt „EinTanzHaus“
Mit dem EinTanzHaus soll in Mannheim ein Zentrum für zeitgenössischen Tanz in einem Kulturdenkmal von besonderer Bedeutung geschaffen werden. Das Team des EinTanzHauses hat unter der Leitung von Daria Holme durch den beispielhaften Umbau des denkmalgeschützten Sakralbaus die Voraussetzungen geschaffen, in Süddeutschland ein Tanzzentrum zu entwickeln, das durch seine Infrastruktur, seine Bühnengröße, seinen zentralen Standort in der Innenstadt und die künstlerische Erfahrung der Akteure für den Tanz in Deutschland neue Perspektiven eröffnen kann.
Aufgabe der CEval GmbH war es, ein M&E-Konzept zu entwickeln und umzusetzen, das der Projektsteuerung sowie der regelmäßigen Überprüfung der Zielerreichung und der Wirkungserfassung dient. Hierzu wurden in einem ersten Schritt gemeinsam mit den Beteiligten eine Zielhierarchie und wertbestückte Indikatoren für das EinTanzHaus sowie ein Datenerhebungsplan entwickelt, der einen Methodenmix aus teilstandardisierten Befragungen von Besuchern und Künstlern, qualitative Interviews mit relevanten Stakeholdern sowie eine Systematisierung prozessproduzierter Daten umfasst. Die CEval GmbH war in alle Schritte der Datenerhebung, -auswertung und -interpretation eingebunden und unterstützte so die Beteiligten in der strategischen Steuerung des Projektes und der Beurteilung der Zielerreichung des Vorhabens.
Datenerhebung zur Vergabe des Qualitätssiegels „Fanprojekt nach dem Nationalen Konzept Sport und Sicherheit“
In Deutschland existiert ein dichtes Netzwerk von Einrichtungen der sozialen Arbeit mit jugendlichen Fußballfans, die nach den Rahmenbedingungen und Vorgaben des Nationalen Konzepts Sport und Sicherheit (NKSS) arbeiten. Das „Qualitätssiegel nach dem Nationalen Konzept Sport und Sicherheit“ wurde im Jahr 2010 mit dem Ziel eingeführt, diesen sozialpädagogisch arbeitenden Fußballfanprojekten in Deutschland ein Instrument der Qualitätssicherung an die Hand zu geben, um gemeinsame Standards und mehr Handlungssicherheit herbeizuführen und die strukturellen Rahmenbedingungen der sozialpädagogisch arbeitenden Fußballfanprojekte zu verbessern. Das Qualitätssiegel wird vergeben von der AG Qualitätssicherung, welche durch die Koordinationsstelle Fanprojekte bei der Deutschen Sportjugend (KOS) koordiniert wird. In der AG Qualitätssicherung sind Vertreter aus dem Fußball, der obersten Landes- und Familienbehörden, der Wissenschaft und der Fanprojekte selbst vertreten.
In einem ersten Teilprojekt (5/2015-06/2016) wurde (a) das Qualitätssiegel von der CEval GmbH überarbeitet, (b) modellhaft mit fünf Fanprojekten getestet und so (c) ein standardisiertes, praxistauglisches Konzept zur Erhebung der für die Siegelvergabe erforderlichen Informationen entwickelt. Das Qualitätssiegel ist damit heute ein valides Zeichen für die hohe Qualität der Arbeit von Fanprojekten.
Im zweiten Teilprojekt unterstützte die CEval GmbH die bundesweite Ausrollung des überarbeiteten Qualitätssiegels durch die Erhebung der für die Vergabe notwendigen Informationen in allen Fanprojekten Deutschlands.
Wirkungsanalyse des Projektes „KiTa im Aufbruch: Prozessbegleitung Richtung Nachhaltigkeit“
Der Landesbund Vogelschutz in Bayern e.V. (LBV) führte zwischen November 2020 bis März 2022 das Umweltbildungsprojekt „KiTa im Aufbruch: Prozessbegleitung Richtung Nachhaltigkeit“ durch. Ziel des Projektes war es, durch eine eineinhalbjährige Prozessbegleitung von ausgewählten bayerischen Kindertageseinrichtungen (Kitas) zur strukturellen Verankerung von Bildung für nachhaltige Entwicklung (BNE) in der frühkindlichen Kinderbetreuung beizutragen. Die CEval GmbH begleitete das Projekt mittels einer Wirkungsanalyse. Durch die Vorher-Nachher-Befragung von Kita-Mitarbeiter*innen, Eltern und den Trägern der Kitas wurde untersucht, welche Wirkung die Prozessbegleitung auf die Kompetenzentwicklung der pädagogischen Fachkräfte und die Qualität der Bildungsangebote und pädagogischen Prozesse im Sinne der BNE hatte. Darüber hinaus wurde auch analysiert, inwiefern die Prozessbegleitung zu einer ganzheitlichen Transformation der Lern- und Lehrumgebung in Richtung einer strukturellen Verankerung der BNE in den Kitas beitrug. Neben pädagogischen Konzepten schloss dies auch die Bereiche der nachhaltigen Beschaffung und Verpflegung im Sinne eines nachhaltigen Speiseplans ein. Um beobachtete Effekte und Wirkungen eindeutig der Prozessbegleitung zuordnen zu können, wurde die Wirkungsanalyse auf einem quasi-experimentellen Design aufgebaut, das durch die Befragung von Vergleichsgruppen (Kitas ohne Teilnahme an einer Prozessbegleitung) realisiert wurde. Im Prozess der Datenerhebung wurden qualitative und quantitative Erhebungsmethoden miteinander kombiniert.
Evaluation von APPEAR Projekten (Programmphasen I und II)
Das Austrian Partnership Programme in Higher Education and Research for Development (APPEAR) wird von der Austrian Development Agency (ADA) konzipiert, geleitet und finanziert, um die Strategie „Higher Education and Scientific Cooperation“ zur Unterstützung von Hochschulen und Forschung für Entwicklung auf akademischer Ebene umzusetzen. Mit Unterstützung des World University Service (WUS) Österreich werden die geförderten Projekte von der Österreichischen Agentur für internationale Mobilität und Zusammenarbeit in Bildung, Wissenschaft und Forschung (OeAD GmbH) durchgeführt. Das übergeordnete Ziel von APPEAR ist die Stärkung der institutionellen Kapazitäten in den Bereichen Hochschulbildung, Forschung und Management durch akademische Partnerschaften mit österreichischen Hochschulen und durch Stipendien. Ziel der Partnerschaften ist es, die allgemeinen Standards in den Bereichen Hochschulbildung, Forschung und Management durch Wissenstransfer und innovative Projekte zu verbessern. Die Erreichung dieser Ziele soll schließlich zu einer wirksamen und nachhaltigen Armutsbekämpfung in den Partnerländern beitragen.
Übergeordnetes Ziel der Evaluation war es, die laufenden und abgeschlossenen Projekte der APPEAR-Phasen I und II zu bewerten. Dabei wurde analysiert, inwiefern die APPEAR-Richtlinien und Grundprinzipien bei der Projektumsetzung eingehalten wurden und in welchem Umfang, die Projekte ihre Ziele und Ergebnisse erreichen konnten. Darüber hinaus wurden die Projekte nach den OECD/DAC-Kriterien Relevanz, Effektivität, Effizienz, Wirkung und Nachhaltigkeit bewertet. Dabei zielte die Evaluierung darauf ab, die Stärken, Schwächen und Herausforderungen der APPEAR-Projekte zu identifizieren und Schlussfolgerungen, Lehren und Empfehlungen für die verbleibenden oder zukünftigen Projekte zu präsentieren.
Bei der Bewertung kamen verschiedene Methoden zum Einsatz. Primärdaten wurden bei Projektbesuchen in Äthiopien und Uganda, Interviews und Gruppendiskussionen mit Projektpartnern in Österreich sowie in online Interviews mit Projektmitarbeiter:innen in Nicaragua erhoben. Die Datenerhebungsinstrumente umfassen auch teilstandardisierte Befragungen, Programm- und Projektdokumentationen sowie frühere Programme.
Evaluation von CAPAQUA
Das Projekt CAPAQUA (Development of Educational and Research CAPacity in Eastern Africa for the Sustainable Management of AQUAatic Ecosystems) zielt darauf ab, die Kapazitäten ostafrikanischer Institutionen im Bereich Hochschulbildung, Wissenschaft und Technologie (Higher Education, Science and Technology (HEST)) zu stärken. CAPAQUA wird gemeinsam von der Universität für Bodenkultur (BOKU), Wien, dem IHE Delft Institute for Water Education, der Egerton University (EGU), der Addis Abeba University (AAU), der Bahir Dar University und dem Ethiopian Institute for Agricultural Research, National Fish and Other Aquatic Lives Research Center (EIAR-NFALRC) durchgeführt. Ziel von CAPAQUA ist es dabei, zu einer nachhaltigen Bewirtschaftung der aquatischen Ökosysteme und ihrer Ressourcen beizutragen, die Lebensgrundlagen in Ostafrika zu verbessern und die Erreichung der Sustainable Development Goals zu unterstützen.
Evaluierung fokussierte sich darauf, die Stärken und Schwächen des Projekts zu identifizieren und den Projektpartnern Empfehlungen im Hinblick auf eine höhere Relevanz, Effektivität, Effizienz und Nachhaltigkeit zukünftiger CAPAQUA-Projekte zu geben. Die Evaluierung analysierte zudem, die wichtigsten Einflussfaktoren für das Erreichen bzw. Nichterreichen der erwarteten Projektergebnisse und -ziele. Der Rahmen der Evaluierung bezog sich auf den Projektzeitraum von Oktober 2015 bis September 2018.
Methodisch wurden dabei durch Tiefeninterviews mit Projektmitarbeiter:innen und verschiedenen Stakeholdern, Fokusgruppendiskussionen mit Programmteilnehmer:innen und Alumni sowie Programm- und Projektdokumentationen umfangreiche qualitative und quantitative Daten erhoben. Geografischer Schwerpunkt der Evaluierung lag in Ostafrika mit Fokus auf Uganda, Kenia und Äthiopien, in denen während eines Feldbesuchs die auszuwertenden Informationen gesammelt wurden. Außerdem wurden auch die involvierten Institutionen und weitere Stakeholder in Österreich in die Datenerhebung eingebunden.
Evaluation des Programms „DLR-DAAD Research Fellowships“
Das Deutsche Zentrum für Luft- und Raumfahrt (DLR) setzt seit 2008 gemeinsam mit dem DAAD ein Stipendienprogramm in den Fachbereichen Energie, Luft- und Raumfahrt und Transport um. Es zielt darauf ab, einen Beitrag zur stärkeren Internationalisierung der DLR-Institute zu leisten sowie künftige Forscherpersönlichkeiten zu entwickeln, die Deutschland als Partner und Freunde verbunden sind. Ziel der Evaluation des Programms war einerseits, im Sinne einer Bilanzierung die bisherigen mittel- bis langfristigen Wirkungen des Programms zu bewerten. Andererseits sollte die Evaluation mit Blick auf eine mögliche Fortführung des Programms eventuelle Optimierungspotenziale aufdecken und Vorschläge zu damit verbundenen Veränderungen entwickeln. In methodischer Hinsicht legte die Evaluation einen Mix aus qualitativen und quantitativen Erhebungs- und Auswertungsmethoden zu Grunde. Dabei wurden Leitfadeninterviews, Fokusgruppen, Standortbegehungen sowie eine Online-Befragung durchgeführt.
Evaluation der „Richtlinie über die Belohnung erfolgreicher Präventionsarbeit bei den Mitgliedern der Unfallkasse Saarland“
Als Versicherungsträger der gesetzlichen Unfallversicherung für den öffentlichen Dienst setzt sich die Unfallkasse des Saarlandes (UKS) für die Verhütung von Berufskrankheiten, Gesundheitsgefahren am Arbeitsplatz und Arbeitsunfällen ein. Ein wichtiger Bestandteil der Präventionsarbeit besteht dabei in der Vergabe einer Prämie an Mitglieder, die den Arbeits- und Gesundheitsschutz erfolgreich in ihre betriebliche Organisation einbinden konnten und somit auf besonders wenige Aufwendungen durch die UKS angewiesen waren. Mit der zweckgebundenen Prämie werden nicht nur Bemühungen zum Gesundheits- und Arbeitsschutz honoriert, sondern auch Anreize zur Verbesserung der Präventionsarbeit gesetzt.
Im Rahmen der Überprüfung ihres Prämiensystems hatte die UKS das CEval mit der Evaluation der Richtlinie über die Belohnung erfolgreicher Präventionsarbeit bei ihren Mitgliedern beauftragt. Ziel des Beratungsprojekts war die Überarbeitung der kennzahlenbasierten Formel zur Ausschüttung innerhalb der Prämienklasse 1, die die 52 Städte und Kommunen des Saarlandes umfasst.
Externe Evaluation des Netherlands Fellowship Programme (NFP II) und der Netherlands Initiative for Capacity in Higher Education (NICHE II)
Im Auftrag des niederländischen Außenministeriums (MFA) führte das CEval eine externe Evaluation des ‚Dutch Fellowship Programme‘ (NFP II) und der ‚Netherlands Initiative for Capacity Development in Higher Education‘ (NICHE II) durch. Diese Programme, die vom MFA finanziert und von der niederländischen Organisation für internationale Zusammenarbeit in der Hochschulbildung, ‚EP-Nuffic‘ verwaltet werden, fördern die Entwicklung von Kapazitäten im Bereich der Hochschulbildung in Partnerländern der niederländischen Entwicklungszusammenarbeit.
Hauptziel von NFP und NICHE ist es, den quantitativen und qualitativen Mangel an qualifiziertem Fachpersonal in Entwicklungsländern zu reduzieren und zum Aufbau nachhaltiger Kapazitäten im Rahmen der Armutsreduzierung beizutragen. Unter NFP werden Stipendien an Berufstätige vergeben, damit diese an Schulungen und Aufbaustudiengängen in den Niederlanden teilnehmen können. NICHE zielt auf die Stärkung institutionelle Kapazitäten zur Verbesserung der Qualität, Relevanz und Gender-Sensibilität der postsekundären Ausbildung in den NICHE-Partnerländern.
Die Evaluation deckte den Umsetzungszeitraum der beiden Programme von 2002 bis 2015 ab, wobei der Fokus auf der letzten Projektphase seit 2012 lag, die sich durch eine besondere Ausrichtung der Programme auf Wirtschaftsdiplomatie und eine stärkere Angleichung an die vier Schwerpunktthemen der niederländischen Entwicklungsstrategie (Wasser, sexuelle und reproduktive Gesundheit und Rechte, Sicherheit und Rechtsstaatlichkeit und Nahrungsmittelsicherheit) auszeichnete. Die Evaluation diente dabei insbesondere zur Rechenschaftslegung über die hierfür von den Niederlanden bereitgestellten Finanzmittel sowie zur Generierung von Lernerfahrungen zur zukünftigen Programm- und Strategieentwicklung.
Im Rahmen der Evaluation wurden beide Programme gemäß der OECD/DAC-Kriterien hinsichtlich ihrer Relevanz, Effizienz, Effektivität, Wirkung und Nachhaltigkeit bewertet. Auf Grundlage der Ergebnisse wurden Empfehlungen zur zukünftigen Optimierung der Programme entwickelt. Die Evaluation wurde in Zusammenarbeit mit ACE Europe, einem belgischen Beratungsunternehmen, umgesetzt.
Begleitende Evaluation des Karriereförderprogramms „Talente sichern – Zukunft gestalten“ (2019/2020)
Das Programm „Talente sichern – Zukunft gestalten“ des Cusanuswerks – Bischöfliche Studienförderung zielt auf die Förderung des weiblichen Führungsnachwuchses. Hierzu setzt das Programm auf Mentoringelemente, also eine tutorielle Betreuung von Stipendiat:innen deutscher Begabtenförderungswerke durch berufserfahrene Akademiker:innen, auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks. Seit Beginn des Karriereförderprogramms im Jahr 2007 führt das CEval zur Qualitätssicherung prozessbegleitende, externe Evaluationen durch. Auch im siebten Programmdurchlauf 2019/2020 fand eine begleitende Evaluation statt. Zentrale Aufgabe dieser Evaluation war es, den durchführungsverantwortlichen Mitarbeiter:innen des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse waren entsprechend der Zielsetzungen des Programms Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen, zur Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten. Methodisch stützte sich die Evaluation auf standardisierte Online-Befragungen der Mentees und Mentorinnen und Mentoren zu drei Zeitpunkten.
