Formative Evaluation der Out-of-School-Children Initiative (OOSCI)
Im Focus dieser Evaluierung stand die Out-of-School-Children Initiative (OOSCI) von UNICEF und dem UNESCO Institute for Statistics (UIS). Die Initiatve wurde im Jahr 2010 initiiert, um die Anzahl von Kindern, die nicht zur Schule gehen, in den Partnerländern zu reduzieren. Zur Erreichung dieser Zielsetzung wurden einmal umfassende Profile von Kindern, die nicht zur Schule gehen, in jedem Land erstellt, die spezifischen Barrieren in jedem Land identifiziert, die dazu beitragen, dass Kinder nicht zur Schule gehen und Empfehlungen für politische und strategische Änderungen entwickelt, um diese Barrieren zu adressieren.
Die Evaluierung zielte darauf ab, die Validität der Theory of Change und ihrer Annahmen zu testen. Dadurch wurde die Programmlogik gestärkt und der Fortschritt in der Zielerreichung der Reduzierung von Kindern, die nicht die Schule besuchen, bewertet. Außerdem lieferte die Evaluierung detaillierte Informationen über den Nutzen der Initiative für die verschiedenen Stakeholder. Zudem wurden die Ergebnisse der Evaluierung dazu genutzt, den Rechenschaftspflichten gegenüber den Geldgebern nachzukommen.
Im Zentrum der Evaluierung stand eine Dokumentenanalyse zur Bewertung des Fortschritts durch OOSCI für eine Stichprobe von 42 Ländern. Die Inhalte der Dokumente wurden zur Beantwortung der Evaluationsfragen auf einer vierstufigen Skala bewertet. Neben einer deskriptiven Analyse wurden diese Kodierungen auch für eine Qualitative Comparative Analysis (QCA) genutzt. QCA ermöglichte die Analyse, welche Kombinationen von Merkmalen zu einem bestimmten Outcome führt. Zusätzliches Instrument der Datenerhebung war eine Onlinebefragung aller UNICEF Länderbüros. Es wurden weitere qualitative Daten in den USA und in acht Länderbesuchen erhoben. Die Evaluierung wurde zusammen mit Proman und weiteren Consultants durchgeführt. CEval war in der Evaluierung für die Evaluationsmethodik verantwortlich.
Evaluation des arbeitsweltbezogenen Demografie-Monitorings demowanda: Bedarfsorientiertes Coaching zur Durchführung einer Selbstevaluation
„Die Bundesanstalt (BAuA) für Arbeitsschutz und Arbeitsmedizin erforscht die Bedingungen und die Entwicklungen innerhalb der Erwerbsarbeit, um Arbeitnehmerinnen und Arbeitnehmer heute und in Zukunft bestmöglich zu schützen und zu fördern“. Unter anderem leitet die BAuA das Projekt Demografischer Wandel in der Arbeitswelt (demowanda). demowanda ist ein Demografie-Monitoringsystem, dessen Entwicklung vom Bundesministerium für Arbeit und Soziales beauftragt wurde.
Die BAua hat eine Selbstevaluation von demowanda – das Kollaborationsprojekt mit BiB, BIBB, DZA, IAB, RKI – durchgeführt. Gegenstand dieser Selbstevaluation durch die BAuA waren die Analyse und Bewertung des Verlaufs und der Zielerreichung sowie Wirksamkeit des Projektes demowanda.
Die BAuA hat die CEval GmbH mit der wissenschaftlichen Begleitung der Selbstevaluation beauftragt. Im Rahmen der Evaluationsbegleitung wurden bedarfsorientierte Coachings und Trainings der beteiligten Mitarbeiter:innen durchgeführt. Hierdurch konnten die bereits vorhandenen Evaluationskenntnisse systematisch erweitert werden. Zugleich wurde die konzeptionelle und methodische Qualität der Selbstevaluation durch eine enge Begleitung aller konzeptionellen Schritte gesichert.
Das Coaching umfasste telefonische und Vor-Ort-Beratungen, Inhouse-Schulungen und Workshops sowie Unterstützung bei der Erstellung evaluationsrelevanter Unterlagen und Dokumente und deren Qualitätssicherung.
Begleitende Evaluation des Karriereförderprogramms „Talente sichern – Zukunft gestalten“ (2017-2018)
Das Programm „Talente sichern – Zukunft gestalten“ des Cusanuswerks – Bischöfliche Studienförderung zielt auf die Förderung des weiblichen Führungsnachwuchses. Hierzu setzt das Programm auf Mentoringelemente, also eine tutorielle Betreuung von Stipendiat:innen deutscher Begabtenförderungswerke durch berufserfahrene Akademiker:innen, auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks. Seit Beginn des Karriereförderprogramms im Jahr 2007 führt das CEval zur Qualitätssicherung prozessbegleitende, externe Evaluationen durch. Auch im sechsten Programmdurchlauf 2017-2018 fand eine begleitende Evaluation statt. Zentrale Aufgabe dieser Evaluation war es, den durchführungsverantwortlichen Mitarbeiter:innen des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse sind entsprechend der Zielsetzungen des Programms Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen, zur Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten. Methodisch stützt sich die Evaluation auf standardisierte Online-Befragungen der Mentees und Mentor:innen zu drei Zeitpunkten.
Lab2Venture: Unternehmerisches Denken und Handeln in Lernort Laboren
Das von der Deutschen Kinder- und Jugendstiftung (DKJS), dem LernortLabor des Bundesverbandes der Schülerlabore e.V. (LeLa) und des TheoPrax-Zentrums des Fraunhofer Instituts für Chemische Technologie (TheoPrax) durchgeführte Vorhaben „Lab2Venture: Unternehmerisches Denken und Handeln in Lernort Laboren“ zielte darauf ab, Schülerlabore in die Lage zu versetzen, interessierte Schülerinnen und Schüler nicht nur in naturwissenschaftlicher Projektarbeit zu begleiten, sondern darüber hinaus dahin zu führen, dass sie eine Unternehmensgründung als realisierbar erkennen.
Insgesamt wurden über die drei Module hinweg bundesweit zehn Schülerlabore bei der Verknüpfung von naturwissenschaftlich-technisch orientierten Themen mit der Wirtschaftswelt sowie beim Aufbau von Schülerfirmen über einen Zeitraum von gut einem Jahr begleitend unterstützt. Zielgruppen des Vorhabens waren primär ca. 200 14-17-jährige Jugendliche, die während Modul II in den ausgewählten Schülerlaboren experimentierten, forschten und Produktideen entwickeln sollten.
Des Weiteren gehörten auch die Mitarbeiter:innen in den Laboren (d.h. Wissenschaftler:innen, Laborangestellte sowie Lehrer:innen und studentische Hilfskräfte) zu den Zielgruppen. Langfristig sollten die Mitarbeiter:innen über das Projekt hinaus als Multiplikatoren für die Weiterverbreitung des unternehmerischen Handlungswissens im Rahmen ihrer Lehrtätigkeit fungieren.
Ziel der Evaluation war es, unter Einbezug der Beteiligten systematisch Rückmeldungen und Anmerkungen über das Projekt zu gewinnen und diese mit der qualitativen Zielerreichung in Beziehung zu setzen. Ein besonderes Augenmerk wurde dabei auf die Prozessorientierung gelegt, die zur Weiterentwicklung sowie der möglichen Ausweitung des Vorhabens, nach dem Ende der Modellphase in Dezember 2013, beitragen sollte. Aufgabe der Evaluation war es entsprechend zu überprüfen, inwieweit die Zielsetzungen für beide o.g. Zielgruppen erreicht wurden, also in welchem Maße unternehmerische Themen erlernt, angewendet, beherrscht, weiterverfolgt etc. wurden.
Für die prozessorientierte Evaluation des Lab2Venture Projekts wendete die CEval GmbH ein Paneldesign an, welches auf einer Kombination aus qualitativen und quantitativen Datenerhebungs- und auswertungsverfahren fußte. die Datenerhebung erfolgte projektbegleitend an drei Erhebungszeitpunkten.
Evaluation der Initiative „Schulen & Partner der Zukunft“ (PASCH)
Die im Jahr 2008 ins Leben gerufene Initiative „Schulen & Partner der Zukunft“ (PASCH) gehört zu den zentralen Initiativen der Auswärtigen Kultur- und Bildungspolitik der aktuellen Legislaturperiode. PASCH ist ein weltweites Netzwerk von derzeit ca. 1800 Partnerschulen mit hoher Deutschlandbindung, an denen verstärkt Deutsch unterrichtet wird. Die Initiative bündelt breit gefächerte Maßnahmen, die dazu beitragen sollen, lebendige, langfristige Bindungen zu Deutschland aufzubauen und die Schulen, ihre Lehrkräfte sowie Schüler:innen zum Austausch und zur Zusammenarbeit anzuregen. PASCH wird vom Auswärtigen Amt koordiniert und gemeinsam mit der Zentralstelle für das Auslandsschulwesen (ZfA), dem Goethe-Institut (GI), dem Pädagogischen Austauschdienst (PAD), der Kultusministerkonferenz (KMK) und dem Deutschen Akademischen Austauschdienst (DAAD) umgesetzt.
Im Rahmen der Evaluation wurde PASCH hinsichtlich Relevanz, Effizienz, Effektivität, Wirksamkeit (Impact) und Nachhaltigkeit überprüft. Dabei wurde auch untersucht, inwiefern sich die bestehenden Angebote, Prozesse und Strukturen zukünftig zur Zielerreichung eignen. Auf Basis der Ergebnisse wurden Empfehlungen zur Optimierung der Maßnahmen, Prozesse und Strukturen und zur Schaffung von Synergien abgeleitet.
Die Evaluation fand in zwei Phasen statt: In der ersten Phase wurden die Dokumentenanalysen sowie persönliche und telefonische leitfadengestützte Interviews mit Stakeholdern in Deutschland und ausgewählten Partnerländern (Polen, Türkei, China) geführt. Schwerpunkt der zweiten Phase war eine breit angelegte quantitative Onlinebefragung mit den PASCH-Zielgruppen in insgesamt zehn Partnerländern.
Evaluation des Projekts „Media in Libya: Stability through reconciliation“
Evaluationsgegenstand war das Projekt „Media in Libya: Stability through reconciliation“ (MLSR) der DW Akademie. MLSR war ein Nachfolgeprojekt von „Media in Libya: Stability through Structure“. Das übergeordnete Ziel von MLSR lautete:“Enabling a process of public discourse and eventually reconciliation across a fragmented Libyan society & prerequisites for development of democratic reform and constitutional process in the country.“ by „promoting [the] right to access to information to the people of Libya and [the] freedom of expression in Libya“. Zum Erreichen dieser Zielsetzung setzte die DW Akademie auf vier Aktivitäten-Cluster: (1) Unterstützung (öffentlicher) Institutionen in Libyen im Bereich „media governance“, (2) Entwicklung eines Mediennetzwerks in Libyen, (3) Training freier Journalisten aus allen Regionen Libyens mit einem besonderen Fokus auf ethnische Minderheiten und Geschlechterfragen, (4) Bereitstellung von Fördermöglichkeiten für Libysche Medienprojekte.
Die Evaluation von MLSR war als Wirkungsevaluation angelegt. Es ist daher erforderlich, Daten zum Zeitpunkt des Maßnahmenbeginns (Baseline) zu erheben, eine Zwischenevaluation erfolgte in der ersten Jahreshälfte 2019. Durch Vergleich der Befunde aus Baselinestudie und Zwischenevaluation konnten erste Effekte von MLSR identifiziert und bewertet werden. Darüber hinaus konnten erste Empfehlungen zur Projektoptimierung (z. B. Identifikation [weniger] erfolgreicher Projektstrategien, alternative Vorgehensweisen) gegeben werden. Die dritte Evaluationsphase (Schlussevaluation) startete zum Projektende. Hauptziel der Schlussevaluation war die Bewertung der Zielerreichung von MLSR. Durch die drei Erhebungszeitpunkte konnte eine längsschnittliche Analyse der Mechanismen, Prozesse und Effekte von MLSR realisiert werden.
Methodisch wurde vor dem Hintergrund der sehr volatilen und schwierigen Rahmenbedingungen in Libyen ein robuster Mixed-Method-Ansatz verfolgt: Sekundäranalyse vorhandener Dokumente/Daten, Inhaltsanalyse kurzer schriftlicher und tiefgehender mündlicher Befragungen sowie statistische Analyse quantitativer Daten aus einer standardisierten Fragebogenerhebung.
Durchführung einer Evaluation des Internationalen Klimaschutzstipendien-Programms
Im Jahr 2009 hat die Alexander von Humboldt-Stiftung (AvH) das Internationale Klimaschutz-Programm (IKS) zur Förderung begabter Nachwuchsführungskräfte aus außereuropäischen Schwellen- und Entwicklungsländern initiiert. Zwischen 2010 und 2015 wurden 100 Stipendiat:innen aus dem wissenschaftlichen und nicht-wissenschaftlichen Bereich gefördert.
Zielgruppen des IKS sind Nachwuchswissenschaftler:innen und akademisch ausgebildete Nachwuchsführungskräfte aus Industrie und Politik aus Entwicklungs- und Schwellenländern. Diese Zielgruppen sind nämlich beteiligt an Gestaltung/Umsetzung von (1) Klimaschutzmaßnahmen, (2) Maßnahmen des klimarelevanten Ressourcenschutzes und (3) Maßnahmen zur Anpassung an den Klimawandel in Entwicklungs- und Schwellenländern. Ziel des IKS ist die langfristige individuelle Begleitung der ausgewählten Stipendiat:innen: (1) Zwölfmonatiges Stipendium zur Durchführung eines selbstgewählten forschungsnahen Projekts bei einem:r selbstausgewählten Gastgeber:in in Deutschland. (2) Alumni-Förderung (u.a. Finanzierung weiterer Deutschlandaufenthalte, Einladung Gastgeber_innen an Heimatinstitutionen, Einbindung in AvH-Netzwerk).
Die Evaluation des IKS prüfte, inwiefern die Wirkungen des Programms einen Beitrag leisten zu (1) Klimaschutz und klimarelevantem Ressourcenschutz und (2) Anpassung an den Klimawandel in Entwicklungs- und Schwellenländern. Im Mittelpunkt stehen die Analyse der Zielerreichung auf Ebene der Programmziele sowie die Analyse bereits überprüfbarer Programmwirkungen.
Die Evaluation des IKS orientierte sich an den DAC-Kriterien. Sie zeichnete sich durch einen partizipativen sowie Multimethoden-Ansatz aus. So wurden im Rahmen der Evaluation Dokumenten- und Sekundäranalysen kombiniert mit qualitativen (leitfadengestützte Intensivinterviews, Fallstudien) sowie quantitativen Verfahren (teilstandardisierte Online-Erhebungen).
Entwicklung von Indikatoren zur Dienstleistungsqualität, zur fachlichen Qualität und zur Produktivität
Der Medizinische Dienst der Krankenkasse (MDK) Baden-Württemberg ist ein organisatorisch selbständiger und fachlich unabhängiger sozialmedizinischer Beratungs- und Begutachtungsdienst der gesetzlichen Kranken- und Pflegeversicherung. Im Auftrag der gesetzlichen Krankenkassen erstellt der MDK an 18 Standorten in Baden-Württemberg jährlich etwa 1,6. Mio. Gutachten. Unter Mitwirkung der operativen Fachbereichsleitungen, des Personalrats sowie der Fachbereiche Controlling und Qualitätsmanagement plante der MDK die Einführung eines Monitoringsystems zur Überprüfung seiner Dienstleistungsqualität, seiner fachlichen Qualität und seiner Produktivität. Das CEval begleitete diesen Prozess und beriet das MDK bei der Einrichtung eines geeigneten Monitoringsystems sowie der Entwicklung von Qualitätsindikatoren.
Wie steuert man Nachhaltigkeit und Wirksamkeit?
Die Akteure der Auswärtigen Kultur- und Bildungspolitik (AKBP) stehen vor der Herausforderung, dass der Kontext ihres Handelns immer auch in Interaktion mit komplexen, dynamischen Politik- und Sozialzusammenhängen steht. Dies erschwert die Generierung von Wissensgrundlagen zur Projektsteuerung und damit zur Sicherung der Nachhaltigkeit und Wirksamkeit der Projekte der AKBP.
Ziel des Forschungsprojekts war daher die Beantwortung der Frage, welche Methoden und Instrumente sich in den volatilen Kontexten der AKBP eignen, um Wirkungen unter sich verändernden Rahmenbedingungen erkennen zu können. Zudem wurde untersucht, wie dieses Wissen für die Projektsteuerung genutzt werden kann. Hierfür wurde zunächst eine Bestandsaufnahme bereits eingesetzter Instrumente durchgeführt, darauf aufbauend wurden neuere Ansätze zur Generierung von Bewertungs- und Entscheidungsgrundlagen im Hinblick auf ihre Übertragbarkeit in der AKBP analysiert.
Evaluation des Deutschen Partnerschaftsprogramms für Biosicherheit und Gesundheitssicherstellung
Das Deutsche Partnerschaftsprogramm für Biologische Sicherheit und Gesundheitssicherstellung wurde durch das Auswärtige Amt (AA) im Jahr 2013 ins Leben gerufen. Es fügt sich in die „G7 Globale Partnerschaft gegen die Verbreitung von Massenvernichtungswaffen und -materialien“ ein. Das Programm wurde im Auftrag des AA durch das Robert Koch-Institut (RKI) und die Gesellschaft für Internationale Zusammenarbeit (GIZ) entwickelt. Für das Programm wurden folgende Ziele formuliert: (1) Missbrauch von biologischen Agenzien und Erregern vorbeugen; (2) Kontrolle von biologischen Sicherheitsrisiken verbessern; (3) Ausbreitung von gefährlichen Agenzien und Erregern eindämmen; (4) Nationale Gesundheitskapazitäten in Partnerländern stärken; (5) Deutsche Expertise zur Abwehr biologischer Risiken erhöhen; (6) Internationale Kooperationen deutscher Institute nachhaltig stärken. Zum Erreichen dieser Ziele fokussiert das Partnerschaftsprogramm auf folgende Schwerpunkte: Surveillance, Detektion und Diagnostik, Biosafety und Biosecurity, Awareness Raising & Sensibilisierung, Vernetzung.
Die CEval GmbH wurde durch das AA mit der Durchführung einer externen Evaluation beauftragt. Die Ziele der Evaluation waren die Untersuchung der Arbeitsweise, Planung, Durchführung sowie Resultate bei den beteiligten Institutionen, die Analyse der Zusammenarbeit mit internationalen Partnern und die Überprüfung der Zielerreichung. Auf Basis der Ergebnisse wurden Entscheidungshilfen zur Nachsteuerung/Neuorientierung der Programmaktivitäten für die derzeit in Planung befindliche zweite Programmphase 2016-2019 generiert.
Die Evaluation erfolgte nach den OECD/DAC-Evaluierungskriterien: Relevanz, Effektivität, Effizienz, Impact und Nachhaltigkeit. Ergänzend dazu wurden die Kriterien Koordination, Komplementarität und Kohärenz untersucht.
Seit Programmstart wurden 17 Projekte in mehr als 20 Ländern umgesetzt. Im Rahmen der Evaluation wurde der Schwerpunkt auf eine Analyse und Bewertung der Aktivitäten der Partner in den folgenden vier Ländern gelegt: RKI+GIZ: Sudan, BNI: überregionales Projekt GIBACHT, FLI: Kamerun, IMBw: Kasachstan. Hierzu erfolgten jeweils dreitägige Länderfallstudien vor Ort, in deren Rahmen Datenerhebungen durch ein interdisziplinäres Gutachterteam bei den für die Konzeption und Umsetzung der Projekte Verantwortlichen erfolgten. Zur Datenerhebung wurden Dokumentenanalysen, leitfadengestützte Interviews, Fokusgruppen (Gruppendiskussionen) sowie Begehungen und Beobachtung eingesetzt.
