Evaluation der Webseite www.bne-portal.de
Die Deutsche UNESCO-Kommission ist eine Mittlerorganisation im Bereich der multilateralen Kultur-, Bildungs-, Wissenschafts- und Medienpolitik. Mit der Webseite www.bne-portal.de unterstützt die Deutsche UNESCO-Kommission das Global Action Programme on Education for Sustainable Development (dt. Weltaktionsprogramm Bildung für nachhaltige Entwicklung). Die Webseite möchte die inhaltliche Einstiegsplattform für (künftige) nationale BNE-Akteure sein. Nach ihrem Relaunch im Jahr 2016 und einer Laufzeit von einem Jahr wurde die Webseite www.bne-portal.de durch die CEval GmbH evaluiert werden.
Die Evaluation sollte die Website hinsichtlich folgender Aspekte bewerten:
(a) Verständlichkeit, fachliche Relevanz und Attraktivität der bereitgestellten Informationen,
(b) Attraktivität von Design und Aufbau,
(c) Auffindbarkeit von Informationen,
(d) Praxisrelevanz der Informationen,
(e) Eignung der Kontaktmöglichkeiten,
(f) Erfüllung von Nutzererwartungen,
(g) Nutzungsintensität,
(h) Bekanntheitsgrad/Attraktivität der angebotenen Lehrmaterialsammlung und
(i) Bekanntheitsgrad/Attraktivität der angebotenen Akteursdatenbank.
Die Evaluation basierte auf einer Online-Nutzerbefragung und quantitativer Datenauswertung.
Formative Evaluation der Out-of-School-Children Initiative (OOSCI)
Im Focus dieser Evaluierung stand die Out-of-School-Children Initiative (OOSCI) von UNICEF und dem UNESCO Institute for Statistics (UIS). Die Initiatve wurde im Jahr 2010 initiiert, um die Anzahl von Kindern, die nicht zur Schule gehen, in den Partnerländern zu reduzieren. Zur Erreichung dieser Zielsetzung wurden einmal umfassende Profile von Kindern, die nicht zur Schule gehen, in jedem Land erstellt, die spezifischen Barrieren in jedem Land identifiziert, die dazu beitragen, dass Kinder nicht zur Schule gehen und Empfehlungen für politische und strategische Änderungen entwickelt, um diese Barrieren zu adressieren.
Die Evaluierung zielte darauf ab, die Validität der Theory of Change und ihrer Annahmen zu testen. Dadurch wurde die Programmlogik gestärkt und der Fortschritt in der Zielerreichung der Reduzierung von Kindern, die nicht die Schule besuchen, bewertet. Außerdem lieferte die Evaluierung detaillierte Informationen über den Nutzen der Initiative für die verschiedenen Stakeholder. Zudem wurden die Ergebnisse der Evaluierung dazu genutzt, den Rechenschaftspflichten gegenüber den Geldgebern nachzukommen.
Im Zentrum der Evaluierung stand eine Dokumentenanalyse zur Bewertung des Fortschritts durch OOSCI für eine Stichprobe von 42 Ländern. Die Inhalte der Dokumente wurden zur Beantwortung der Evaluationsfragen auf einer vierstufigen Skala bewertet. Neben einer deskriptiven Analyse wurden diese Kodierungen auch für eine Qualitative Comparative Analysis (QCA) genutzt. QCA ermöglichte die Analyse, welche Kombinationen von Merkmalen zu einem bestimmten Outcome führt. Zusätzliches Instrument der Datenerhebung war eine Onlinebefragung aller UNICEF Länderbüros. Es wurden weitere qualitative Daten in den USA und in acht Länderbesuchen erhoben. Die Evaluierung wurde zusammen mit Proman und weiteren Consultants durchgeführt. CEval war in der Evaluierung für die Evaluationsmethodik verantwortlich.
Evaluation des arbeitsweltbezogenen Demografie-Monitorings demowanda: Bedarfsorientiertes Coaching zur Durchführung einer Selbstevaluation
„Die Bundesanstalt (BAuA) für Arbeitsschutz und Arbeitsmedizin erforscht die Bedingungen und die Entwicklungen innerhalb der Erwerbsarbeit, um Arbeitnehmerinnen und Arbeitnehmer heute und in Zukunft bestmöglich zu schützen und zu fördern“. Unter anderem leitet die BAuA das Projekt Demografischer Wandel in der Arbeitswelt (demowanda). demowanda ist ein Demografie-Monitoringsystem, dessen Entwicklung vom Bundesministerium für Arbeit und Soziales beauftragt wurde.
Die BAua hat eine Selbstevaluation von demowanda – das Kollaborationsprojekt mit BiB, BIBB, DZA, IAB, RKI – durchgeführt. Gegenstand dieser Selbstevaluation durch die BAuA waren die Analyse und Bewertung des Verlaufs und der Zielerreichung sowie Wirksamkeit des Projektes demowanda.
Die BAuA hat die CEval GmbH mit der wissenschaftlichen Begleitung der Selbstevaluation beauftragt. Im Rahmen der Evaluationsbegleitung wurden bedarfsorientierte Coachings und Trainings der beteiligten Mitarbeiter:innen durchgeführt. Hierdurch konnten die bereits vorhandenen Evaluationskenntnisse systematisch erweitert werden. Zugleich wurde die konzeptionelle und methodische Qualität der Selbstevaluation durch eine enge Begleitung aller konzeptionellen Schritte gesichert.
Das Coaching umfasste telefonische und Vor-Ort-Beratungen, Inhouse-Schulungen und Workshops sowie Unterstützung bei der Erstellung evaluationsrelevanter Unterlagen und Dokumente und deren Qualitätssicherung.
Begleitende Evaluation des Karriereförderprogramms „Talente sichern – Zukunft gestalten“ (2017-2018)
Das Programm „Talente sichern – Zukunft gestalten“ des Cusanuswerks – Bischöfliche Studienförderung zielt auf die Förderung des weiblichen Führungsnachwuchses. Hierzu setzt das Programm auf Mentoringelemente, also eine tutorielle Betreuung von Stipendiat:innen deutscher Begabtenförderungswerke durch berufserfahrene Akademiker:innen, auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks. Seit Beginn des Karriereförderprogramms im Jahr 2007 führt das CEval zur Qualitätssicherung prozessbegleitende, externe Evaluationen durch. Auch im sechsten Programmdurchlauf 2017-2018 fand eine begleitende Evaluation statt. Zentrale Aufgabe dieser Evaluation war es, den durchführungsverantwortlichen Mitarbeiter:innen des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse sind entsprechend der Zielsetzungen des Programms Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen, zur Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten. Methodisch stützt sich die Evaluation auf standardisierte Online-Befragungen der Mentees und Mentor:innen zu drei Zeitpunkten.
Wie steuert man Nachhaltigkeit und Wirksamkeit?
Die Akteure der Auswärtigen Kultur- und Bildungspolitik (AKBP) stehen vor der Herausforderung, dass der Kontext ihres Handelns immer auch in Interaktion mit komplexen, dynamischen Politik- und Sozialzusammenhängen steht. Dies erschwert die Generierung von Wissensgrundlagen zur Projektsteuerung und damit zur Sicherung der Nachhaltigkeit und Wirksamkeit der Projekte der AKBP.
Ziel des Forschungsprojekts war daher die Beantwortung der Frage, welche Methoden und Instrumente sich in den volatilen Kontexten der AKBP eignen, um Wirkungen unter sich verändernden Rahmenbedingungen erkennen zu können. Zudem wurde untersucht, wie dieses Wissen für die Projektsteuerung genutzt werden kann. Hierfür wurde zunächst eine Bestandsaufnahme bereits eingesetzter Instrumente durchgeführt, darauf aufbauend wurden neuere Ansätze zur Generierung von Bewertungs- und Entscheidungsgrundlagen im Hinblick auf ihre Übertragbarkeit in der AKBP analysiert.
Evaluation des Deutschen Partnerschaftsprogramms für Biosicherheit und Gesundheitssicherstellung
Das Deutsche Partnerschaftsprogramm für Biologische Sicherheit und Gesundheitssicherstellung wurde durch das Auswärtige Amt (AA) im Jahr 2013 ins Leben gerufen. Es fügt sich in die „G7 Globale Partnerschaft gegen die Verbreitung von Massenvernichtungswaffen und -materialien“ ein. Das Programm wurde im Auftrag des AA durch das Robert Koch-Institut (RKI) und die Gesellschaft für Internationale Zusammenarbeit (GIZ) entwickelt. Für das Programm wurden folgende Ziele formuliert: (1) Missbrauch von biologischen Agenzien und Erregern vorbeugen; (2) Kontrolle von biologischen Sicherheitsrisiken verbessern; (3) Ausbreitung von gefährlichen Agenzien und Erregern eindämmen; (4) Nationale Gesundheitskapazitäten in Partnerländern stärken; (5) Deutsche Expertise zur Abwehr biologischer Risiken erhöhen; (6) Internationale Kooperationen deutscher Institute nachhaltig stärken. Zum Erreichen dieser Ziele fokussiert das Partnerschaftsprogramm auf folgende Schwerpunkte: Surveillance, Detektion und Diagnostik, Biosafety und Biosecurity, Awareness Raising & Sensibilisierung, Vernetzung.
Die CEval GmbH wurde durch das AA mit der Durchführung einer externen Evaluation beauftragt. Die Ziele der Evaluation waren die Untersuchung der Arbeitsweise, Planung, Durchführung sowie Resultate bei den beteiligten Institutionen, die Analyse der Zusammenarbeit mit internationalen Partnern und die Überprüfung der Zielerreichung. Auf Basis der Ergebnisse wurden Entscheidungshilfen zur Nachsteuerung/Neuorientierung der Programmaktivitäten für die derzeit in Planung befindliche zweite Programmphase 2016-2019 generiert.
Die Evaluation erfolgte nach den OECD/DAC-Evaluierungskriterien: Relevanz, Effektivität, Effizienz, Impact und Nachhaltigkeit. Ergänzend dazu wurden die Kriterien Koordination, Komplementarität und Kohärenz untersucht.
Seit Programmstart wurden 17 Projekte in mehr als 20 Ländern umgesetzt. Im Rahmen der Evaluation wurde der Schwerpunkt auf eine Analyse und Bewertung der Aktivitäten der Partner in den folgenden vier Ländern gelegt: RKI+GIZ: Sudan, BNI: überregionales Projekt GIBACHT, FLI: Kamerun, IMBw: Kasachstan. Hierzu erfolgten jeweils dreitägige Länderfallstudien vor Ort, in deren Rahmen Datenerhebungen durch ein interdisziplinäres Gutachterteam bei den für die Konzeption und Umsetzung der Projekte Verantwortlichen erfolgten. Zur Datenerhebung wurden Dokumentenanalysen, leitfadengestützte Interviews, Fokusgruppen (Gruppendiskussionen) sowie Begehungen und Beobachtung eingesetzt.
Evaluierung der §§20a und b PolG NRW
Gegenstand dieses Projekts war die wissenschaftliche Begleitung der Evaluierung der §§ 20a und b des Polizeigesetzes Nordrhein-Westfalen (PolG NRW), welche am 01. Juli 2013 in Kraft traten. Sie wurden eingeführt zur Neuregelung des landesrechtlichen Auskunftsanspruchs der Polizei über Telekommunikations- und Telemediendaten und der Datenerhebung mit eigenen technischen Mitteln. Im Gesetz wurde verankert, dass die Auswirkungen dieser Vorschrift und die praktische Anwendung (…) nach einem Erfahrungszeitraum von drei Jahren durch die Landesregierung unter Mitwirkung einer oder eines unabhängigen wissenschaftlichen Sachverständigen geprüft (werden)(§20a Absatz 7 Satz 1).
Diese gesetzliche Neuregelung betrifft eine in der Politik und Öffentlichkeit immer wieder intensiv diskutierte Frage. So ist es einerseits Aufgabe der Polizei (nicht nur in) NRW, die innere Sicherheit im Land zu gewährleisten und sie ist daher mit allen Befugnissen auszustatten, die sie zur Erfüllung dieser Aufgabe benötigt. Andererseits argumentieren Datenschützer, dass gerade die Telekommunikations- und Telemediendaten einen sehr sensiblen Bereich der individuellen Privatsphäre darstellen, des es so weitreichend wie möglich zu schützen gilt. Aus diesem Grund sollte durch die neuen Normen ein klarer Handlungsrahmen geschaffen werden, der sowohl Polizei als auch Dienstanbietern im Bereich Telekommunikation Rechtssicherheit verschafft. Das CEval war im Rahmen der Evaluation insbesondere für die Konkretisierung und Operationalisierung der leitenden Fragestellungen, die Identifizierung geeigneter Indikatoren und die Entwicklung eines geeigneten Evaluationsdesigns und der Erhebungsinstrumente zuständig und unterstützte bei der Datenerhebung. Auch die Analyse der Daten und die Berichtsfertigung erfolgten unter der Federführung des CEval.
Methodisch wurden sowohl leitfadengestützte Interviews, Fokusgruppendiskussionen als auch standardisierte Befragungen durchgeführt, um so Aussagen über durch die Einführung des Gesetzes bewirkte Veränderungen in den Prozessabläufen und die Auswirkungen der Neuregelung zu generieren und Empfehlungen für die Weiterentwicklung des Gesetzes abzuleiten.
Rahmenvertrag für die Entwicklung und Implementierung wirkungsorientierter Monitoringsysteme von DAAD-Programmen (2016)
Projektziel war es, den DAAD in die Lage zu versetzen, dem steigenden Anspruch an Wirkungsorientierung und -kontrolle in seinen Förderbereichen noch besser gerecht zu werden. Damit wollte sich der DAAD noch stärker an konkreten Entwicklungsergebnissen orientieren und eine noch stärkere Anpassung an den Bedarf seiner Partner sichern (managing for results). Als Mittlerorganisation ist der DAAD auf eine wirkungsorientierte Planung, Steuerung und Berichterstattung der Hochschulen als Projektnehmer angewiesen. Die einzuführenden Monitoringsysteme sollten dazu beitragen, die Qualität von Informationen über Programmaktivitäten zu steigern, sowohl im Rahmen der Rechenschaftslegung durch die Fördernehmer als auch im Dialog zwischen den Beteiligten (Förderorganisationen, DAAD, Hochschulen). Dadurch können gemeinsames Lernen und die strategische Weiterentwicklung der Förderprogramme des DAAD befördert werden.
Die Aktivitäten des CEval bei diesem Vorhaben lassen sich folgenden Bereichen zuordnen: Entwicklung programmspezifischer Wirkungsgefüge und Indikatorenkataloge sowohl für bestehende als auch zukünftige Fördervorhaben; Anpassung bestehender Monitoringprozesse, -verfahren und -instrumente zur Projektplanung, Steuerung und Berichterstattung im Rahmen der Förderprogramme und Ausarbeitung programmspezifischer Monitoring- und Umsetzungskonzepte. Zudem schult das CEval Mitarbeiter:innen des DAAD sowie der Hochschulen im Bereich der wirkungsorientierten Planung und des Monitorings (capacity building).
Lab2Venture: Unternehmerisches Denken und Handeln in Lernort Laboren
Das von der Deutschen Kinder- und Jugendstiftung (DKJS), dem LernortLabor des Bundesverbandes der Schülerlabore e.V. (LeLa) und des TheoPrax-Zentrums des Fraunhofer Instituts für Chemische Technologie (TheoPrax) durchgeführte Vorhaben „Lab2Venture: Unternehmerisches Denken und Handeln in Lernort Laboren“ zielte darauf ab, Schülerlabore in die Lage zu versetzen, interessierte Schülerinnen und Schüler nicht nur in naturwissenschaftlicher Projektarbeit zu begleiten, sondern darüber hinaus dahin zu führen, dass sie eine Unternehmensgründung als realisierbar erkennen.
Insgesamt wurden über die drei Module hinweg bundesweit zehn Schülerlabore bei der Verknüpfung von naturwissenschaftlich-technisch orientierten Themen mit der Wirtschaftswelt sowie beim Aufbau von Schülerfirmen über einen Zeitraum von gut einem Jahr begleitend unterstützt. Zielgruppen des Vorhabens waren primär ca. 200 14-17-jährige Jugendliche, die während Modul II in den ausgewählten Schülerlaboren experimentierten, forschten und Produktideen entwickeln sollten.
Des Weiteren gehörten auch die Mitarbeiter:innen in den Laboren (d.h. Wissenschaftler:innen, Laborangestellte sowie Lehrer:innen und studentische Hilfskräfte) zu den Zielgruppen. Langfristig sollten die Mitarbeiter:innen über das Projekt hinaus als Multiplikatoren für die Weiterverbreitung des unternehmerischen Handlungswissens im Rahmen ihrer Lehrtätigkeit fungieren.
Ziel der Evaluation war es, unter Einbezug der Beteiligten systematisch Rückmeldungen und Anmerkungen über das Projekt zu gewinnen und diese mit der qualitativen Zielerreichung in Beziehung zu setzen. Ein besonderes Augenmerk wurde dabei auf die Prozessorientierung gelegt, die zur Weiterentwicklung sowie der möglichen Ausweitung des Vorhabens, nach dem Ende der Modellphase in Dezember 2013, beitragen sollte. Aufgabe der Evaluation war es entsprechend zu überprüfen, inwieweit die Zielsetzungen für beide o.g. Zielgruppen erreicht wurden, also in welchem Maße unternehmerische Themen erlernt, angewendet, beherrscht, weiterverfolgt etc. wurden.
Für die prozessorientierte Evaluation des Lab2Venture Projekts wendete die CEval GmbH ein Paneldesign an, welches auf einer Kombination aus qualitativen und quantitativen Datenerhebungs- und auswertungsverfahren fußte. die Datenerhebung erfolgte projektbegleitend an drei Erhebungszeitpunkten.
Evaluation der Initiative „Schulen & Partner der Zukunft“ (PASCH)
Die im Jahr 2008 ins Leben gerufene Initiative „Schulen & Partner der Zukunft“ (PASCH) gehört zu den zentralen Initiativen der Auswärtigen Kultur- und Bildungspolitik der aktuellen Legislaturperiode. PASCH ist ein weltweites Netzwerk von derzeit ca. 1800 Partnerschulen mit hoher Deutschlandbindung, an denen verstärkt Deutsch unterrichtet wird. Die Initiative bündelt breit gefächerte Maßnahmen, die dazu beitragen sollen, lebendige, langfristige Bindungen zu Deutschland aufzubauen und die Schulen, ihre Lehrkräfte sowie Schüler:innen zum Austausch und zur Zusammenarbeit anzuregen. PASCH wird vom Auswärtigen Amt koordiniert und gemeinsam mit der Zentralstelle für das Auslandsschulwesen (ZfA), dem Goethe-Institut (GI), dem Pädagogischen Austauschdienst (PAD), der Kultusministerkonferenz (KMK) und dem Deutschen Akademischen Austauschdienst (DAAD) umgesetzt.
Im Rahmen der Evaluation wurde PASCH hinsichtlich Relevanz, Effizienz, Effektivität, Wirksamkeit (Impact) und Nachhaltigkeit überprüft. Dabei wurde auch untersucht, inwiefern sich die bestehenden Angebote, Prozesse und Strukturen zukünftig zur Zielerreichung eignen. Auf Basis der Ergebnisse wurden Empfehlungen zur Optimierung der Maßnahmen, Prozesse und Strukturen und zur Schaffung von Synergien abgeleitet.
Die Evaluation fand in zwei Phasen statt: In der ersten Phase wurden die Dokumentenanalysen sowie persönliche und telefonische leitfadengestützte Interviews mit Stakeholdern in Deutschland und ausgewählten Partnerländern (Polen, Türkei, China) geführt. Schwerpunkt der zweiten Phase war eine breit angelegte quantitative Onlinebefragung mit den PASCH-Zielgruppen in insgesamt zehn Partnerländern.
