Evaluation der Webseite www.bne-portal.de
Die Deutsche UNESCO-Kommission ist eine Mittlerorganisation im Bereich der multilateralen Kultur-, Bildungs-, Wissenschafts- und Medienpolitik. Mit der Webseite www.bne-portal.de unterstützt die Deutsche UNESCO-Kommission das Global Action Programme on Education for Sustainable Development (dt. Weltaktionsprogramm Bildung für nachhaltige Entwicklung). Die Webseite möchte die inhaltliche Einstiegsplattform für (künftige) nationale BNE-Akteure sein. Nach ihrem Relaunch im Jahr 2016 und einer Laufzeit von einem Jahr wurde die Webseite www.bne-portal.de durch die CEval GmbH evaluiert werden.
Die Evaluation sollte die Website hinsichtlich folgender Aspekte bewerten:
(a) Verständlichkeit, fachliche Relevanz und Attraktivität der bereitgestellten Informationen,
(b) Attraktivität von Design und Aufbau,
(c) Auffindbarkeit von Informationen,
(d) Praxisrelevanz der Informationen,
(e) Eignung der Kontaktmöglichkeiten,
(f) Erfüllung von Nutzererwartungen,
(g) Nutzungsintensität,
(h) Bekanntheitsgrad/Attraktivität der angebotenen Lehrmaterialsammlung und
(i) Bekanntheitsgrad/Attraktivität der angebotenen Akteursdatenbank.
Die Evaluation basierte auf einer Online-Nutzerbefragung und quantitativer Datenauswertung.
Formative Evaluation der Out-of-School-Children Initiative (OOSCI)
Im Focus dieser Evaluierung stand die Out-of-School-Children Initiative (OOSCI) von UNICEF und dem UNESCO Institute for Statistics (UIS). Die Initiatve wurde im Jahr 2010 initiiert, um die Anzahl von Kindern, die nicht zur Schule gehen, in den Partnerländern zu reduzieren. Zur Erreichung dieser Zielsetzung wurden einmal umfassende Profile von Kindern, die nicht zur Schule gehen, in jedem Land erstellt, die spezifischen Barrieren in jedem Land identifiziert, die dazu beitragen, dass Kinder nicht zur Schule gehen und Empfehlungen für politische und strategische Änderungen entwickelt, um diese Barrieren zu adressieren.
Die Evaluierung zielte darauf ab, die Validität der Theory of Change und ihrer Annahmen zu testen. Dadurch wurde die Programmlogik gestärkt und der Fortschritt in der Zielerreichung der Reduzierung von Kindern, die nicht die Schule besuchen, bewertet. Außerdem lieferte die Evaluierung detaillierte Informationen über den Nutzen der Initiative für die verschiedenen Stakeholder. Zudem wurden die Ergebnisse der Evaluierung dazu genutzt, den Rechenschaftspflichten gegenüber den Geldgebern nachzukommen.
Im Zentrum der Evaluierung stand eine Dokumentenanalyse zur Bewertung des Fortschritts durch OOSCI für eine Stichprobe von 42 Ländern. Die Inhalte der Dokumente wurden zur Beantwortung der Evaluationsfragen auf einer vierstufigen Skala bewertet. Neben einer deskriptiven Analyse wurden diese Kodierungen auch für eine Qualitative Comparative Analysis (QCA) genutzt. QCA ermöglichte die Analyse, welche Kombinationen von Merkmalen zu einem bestimmten Outcome führt. Zusätzliches Instrument der Datenerhebung war eine Onlinebefragung aller UNICEF Länderbüros. Es wurden weitere qualitative Daten in den USA und in acht Länderbesuchen erhoben. Die Evaluierung wurde zusammen mit Proman und weiteren Consultants durchgeführt. CEval war in der Evaluierung für die Evaluationsmethodik verantwortlich.
Evaluation des arbeitsweltbezogenen Demografie-Monitorings demowanda: Bedarfsorientiertes Coaching zur Durchführung einer Selbstevaluation
„Die Bundesanstalt (BAuA) für Arbeitsschutz und Arbeitsmedizin erforscht die Bedingungen und die Entwicklungen innerhalb der Erwerbsarbeit, um Arbeitnehmerinnen und Arbeitnehmer heute und in Zukunft bestmöglich zu schützen und zu fördern“. Unter anderem leitet die BAuA das Projekt Demografischer Wandel in der Arbeitswelt (demowanda). demowanda ist ein Demografie-Monitoringsystem, dessen Entwicklung vom Bundesministerium für Arbeit und Soziales beauftragt wurde.
Die BAua hat eine Selbstevaluation von demowanda – das Kollaborationsprojekt mit BiB, BIBB, DZA, IAB, RKI – durchgeführt. Gegenstand dieser Selbstevaluation durch die BAuA waren die Analyse und Bewertung des Verlaufs und der Zielerreichung sowie Wirksamkeit des Projektes demowanda.
Die BAuA hat die CEval GmbH mit der wissenschaftlichen Begleitung der Selbstevaluation beauftragt. Im Rahmen der Evaluationsbegleitung wurden bedarfsorientierte Coachings und Trainings der beteiligten Mitarbeiter:innen durchgeführt. Hierdurch konnten die bereits vorhandenen Evaluationskenntnisse systematisch erweitert werden. Zugleich wurde die konzeptionelle und methodische Qualität der Selbstevaluation durch eine enge Begleitung aller konzeptionellen Schritte gesichert.
Das Coaching umfasste telefonische und Vor-Ort-Beratungen, Inhouse-Schulungen und Workshops sowie Unterstützung bei der Erstellung evaluationsrelevanter Unterlagen und Dokumente und deren Qualitätssicherung.
Begleitende Evaluation des Karriereförderprogramms „Talente sichern – Zukunft gestalten“ (2017-2018)
Das Programm „Talente sichern – Zukunft gestalten“ des Cusanuswerks – Bischöfliche Studienförderung zielt auf die Förderung des weiblichen Führungsnachwuchses. Hierzu setzt das Programm auf Mentoringelemente, also eine tutorielle Betreuung von Stipendiat:innen deutscher Begabtenförderungswerke durch berufserfahrene Akademiker:innen, auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks. Seit Beginn des Karriereförderprogramms im Jahr 2007 führt das CEval zur Qualitätssicherung prozessbegleitende, externe Evaluationen durch. Auch im sechsten Programmdurchlauf 2017-2018 fand eine begleitende Evaluation statt. Zentrale Aufgabe dieser Evaluation war es, den durchführungsverantwortlichen Mitarbeiter:innen des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse sind entsprechend der Zielsetzungen des Programms Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen, zur Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten. Methodisch stützt sich die Evaluation auf standardisierte Online-Befragungen der Mentees und Mentor:innen zu drei Zeitpunkten.
Evaluation des Projekts „Media in Libya: Stability through reconciliation“
Evaluationsgegenstand war das Projekt „Media in Libya: Stability through reconciliation“ (MLSR) der DW Akademie. MLSR war ein Nachfolgeprojekt von „Media in Libya: Stability through Structure“. Das übergeordnete Ziel von MLSR lautete:“Enabling a process of public discourse and eventually reconciliation across a fragmented Libyan society & prerequisites for development of democratic reform and constitutional process in the country.“ by „promoting [the] right to access to information to the people of Libya and [the] freedom of expression in Libya“. Zum Erreichen dieser Zielsetzung setzte die DW Akademie auf vier Aktivitäten-Cluster: (1) Unterstützung (öffentlicher) Institutionen in Libyen im Bereich „media governance“, (2) Entwicklung eines Mediennetzwerks in Libyen, (3) Training freier Journalisten aus allen Regionen Libyens mit einem besonderen Fokus auf ethnische Minderheiten und Geschlechterfragen, (4) Bereitstellung von Fördermöglichkeiten für Libysche Medienprojekte.
Die Evaluation von MLSR war als Wirkungsevaluation angelegt. Es ist daher erforderlich, Daten zum Zeitpunkt des Maßnahmenbeginns (Baseline) zu erheben, eine Zwischenevaluation erfolgte in der ersten Jahreshälfte 2019. Durch Vergleich der Befunde aus Baselinestudie und Zwischenevaluation konnten erste Effekte von MLSR identifiziert und bewertet werden. Darüber hinaus konnten erste Empfehlungen zur Projektoptimierung (z. B. Identifikation [weniger] erfolgreicher Projektstrategien, alternative Vorgehensweisen) gegeben werden. Die dritte Evaluationsphase (Schlussevaluation) startete zum Projektende. Hauptziel der Schlussevaluation war die Bewertung der Zielerreichung von MLSR. Durch die drei Erhebungszeitpunkte konnte eine längsschnittliche Analyse der Mechanismen, Prozesse und Effekte von MLSR realisiert werden.
Methodisch wurde vor dem Hintergrund der sehr volatilen und schwierigen Rahmenbedingungen in Libyen ein robuster Mixed-Method-Ansatz verfolgt: Sekundäranalyse vorhandener Dokumente/Daten, Inhaltsanalyse kurzer schriftlicher und tiefgehender mündlicher Befragungen sowie statistische Analyse quantitativer Daten aus einer standardisierten Fragebogenerhebung.
Durchführung einer Evaluation des Internationalen Klimaschutzstipendien-Programms
Im Jahr 2009 hat die Alexander von Humboldt-Stiftung (AvH) das Internationale Klimaschutz-Programm (IKS) zur Förderung begabter Nachwuchsführungskräfte aus außereuropäischen Schwellen- und Entwicklungsländern initiiert. Zwischen 2010 und 2015 wurden 100 Stipendiat:innen aus dem wissenschaftlichen und nicht-wissenschaftlichen Bereich gefördert.
Zielgruppen des IKS sind Nachwuchswissenschaftler:innen und akademisch ausgebildete Nachwuchsführungskräfte aus Industrie und Politik aus Entwicklungs- und Schwellenländern. Diese Zielgruppen sind nämlich beteiligt an Gestaltung/Umsetzung von (1) Klimaschutzmaßnahmen, (2) Maßnahmen des klimarelevanten Ressourcenschutzes und (3) Maßnahmen zur Anpassung an den Klimawandel in Entwicklungs- und Schwellenländern. Ziel des IKS ist die langfristige individuelle Begleitung der ausgewählten Stipendiat:innen: (1) Zwölfmonatiges Stipendium zur Durchführung eines selbstgewählten forschungsnahen Projekts bei einem:r selbstausgewählten Gastgeber:in in Deutschland. (2) Alumni-Förderung (u.a. Finanzierung weiterer Deutschlandaufenthalte, Einladung Gastgeber_innen an Heimatinstitutionen, Einbindung in AvH-Netzwerk).
Die Evaluation des IKS prüfte, inwiefern die Wirkungen des Programms einen Beitrag leisten zu (1) Klimaschutz und klimarelevantem Ressourcenschutz und (2) Anpassung an den Klimawandel in Entwicklungs- und Schwellenländern. Im Mittelpunkt stehen die Analyse der Zielerreichung auf Ebene der Programmziele sowie die Analyse bereits überprüfbarer Programmwirkungen.
Die Evaluation des IKS orientierte sich an den DAC-Kriterien. Sie zeichnete sich durch einen partizipativen sowie Multimethoden-Ansatz aus. So wurden im Rahmen der Evaluation Dokumenten- und Sekundäranalysen kombiniert mit qualitativen (leitfadengestützte Intensivinterviews, Fallstudien) sowie quantitativen Verfahren (teilstandardisierte Online-Erhebungen).
Entwicklung von Indikatoren zur Dienstleistungsqualität, zur fachlichen Qualität und zur Produktivität
Der Medizinische Dienst der Krankenkasse (MDK) Baden-Württemberg ist ein organisatorisch selbständiger und fachlich unabhängiger sozialmedizinischer Beratungs- und Begutachtungsdienst der gesetzlichen Kranken- und Pflegeversicherung. Im Auftrag der gesetzlichen Krankenkassen erstellt der MDK an 18 Standorten in Baden-Württemberg jährlich etwa 1,6. Mio. Gutachten. Unter Mitwirkung der operativen Fachbereichsleitungen, des Personalrats sowie der Fachbereiche Controlling und Qualitätsmanagement plante der MDK die Einführung eines Monitoringsystems zur Überprüfung seiner Dienstleistungsqualität, seiner fachlichen Qualität und seiner Produktivität. Das CEval begleitete diesen Prozess und beriet das MDK bei der Einrichtung eines geeigneten Monitoringsystems sowie der Entwicklung von Qualitätsindikatoren.
Wie steuert man Nachhaltigkeit und Wirksamkeit?
Die Akteure der Auswärtigen Kultur- und Bildungspolitik (AKBP) stehen vor der Herausforderung, dass der Kontext ihres Handelns immer auch in Interaktion mit komplexen, dynamischen Politik- und Sozialzusammenhängen steht. Dies erschwert die Generierung von Wissensgrundlagen zur Projektsteuerung und damit zur Sicherung der Nachhaltigkeit und Wirksamkeit der Projekte der AKBP.
Ziel des Forschungsprojekts war daher die Beantwortung der Frage, welche Methoden und Instrumente sich in den volatilen Kontexten der AKBP eignen, um Wirkungen unter sich verändernden Rahmenbedingungen erkennen zu können. Zudem wurde untersucht, wie dieses Wissen für die Projektsteuerung genutzt werden kann. Hierfür wurde zunächst eine Bestandsaufnahme bereits eingesetzter Instrumente durchgeführt, darauf aufbauend wurden neuere Ansätze zur Generierung von Bewertungs- und Entscheidungsgrundlagen im Hinblick auf ihre Übertragbarkeit in der AKBP analysiert.
Evaluation des Deutschen Partnerschaftsprogramms für Biosicherheit und Gesundheitssicherstellung
Das Deutsche Partnerschaftsprogramm für Biologische Sicherheit und Gesundheitssicherstellung wurde durch das Auswärtige Amt (AA) im Jahr 2013 ins Leben gerufen. Es fügt sich in die „G7 Globale Partnerschaft gegen die Verbreitung von Massenvernichtungswaffen und -materialien“ ein. Das Programm wurde im Auftrag des AA durch das Robert Koch-Institut (RKI) und die Gesellschaft für Internationale Zusammenarbeit (GIZ) entwickelt. Für das Programm wurden folgende Ziele formuliert: (1) Missbrauch von biologischen Agenzien und Erregern vorbeugen; (2) Kontrolle von biologischen Sicherheitsrisiken verbessern; (3) Ausbreitung von gefährlichen Agenzien und Erregern eindämmen; (4) Nationale Gesundheitskapazitäten in Partnerländern stärken; (5) Deutsche Expertise zur Abwehr biologischer Risiken erhöhen; (6) Internationale Kooperationen deutscher Institute nachhaltig stärken. Zum Erreichen dieser Ziele fokussiert das Partnerschaftsprogramm auf folgende Schwerpunkte: Surveillance, Detektion und Diagnostik, Biosafety und Biosecurity, Awareness Raising & Sensibilisierung, Vernetzung.
Die CEval GmbH wurde durch das AA mit der Durchführung einer externen Evaluation beauftragt. Die Ziele der Evaluation waren die Untersuchung der Arbeitsweise, Planung, Durchführung sowie Resultate bei den beteiligten Institutionen, die Analyse der Zusammenarbeit mit internationalen Partnern und die Überprüfung der Zielerreichung. Auf Basis der Ergebnisse wurden Entscheidungshilfen zur Nachsteuerung/Neuorientierung der Programmaktivitäten für die derzeit in Planung befindliche zweite Programmphase 2016-2019 generiert.
Die Evaluation erfolgte nach den OECD/DAC-Evaluierungskriterien: Relevanz, Effektivität, Effizienz, Impact und Nachhaltigkeit. Ergänzend dazu wurden die Kriterien Koordination, Komplementarität und Kohärenz untersucht.
Seit Programmstart wurden 17 Projekte in mehr als 20 Ländern umgesetzt. Im Rahmen der Evaluation wurde der Schwerpunkt auf eine Analyse und Bewertung der Aktivitäten der Partner in den folgenden vier Ländern gelegt: RKI+GIZ: Sudan, BNI: überregionales Projekt GIBACHT, FLI: Kamerun, IMBw: Kasachstan. Hierzu erfolgten jeweils dreitägige Länderfallstudien vor Ort, in deren Rahmen Datenerhebungen durch ein interdisziplinäres Gutachterteam bei den für die Konzeption und Umsetzung der Projekte Verantwortlichen erfolgten. Zur Datenerhebung wurden Dokumentenanalysen, leitfadengestützte Interviews, Fokusgruppen (Gruppendiskussionen) sowie Begehungen und Beobachtung eingesetzt.
Evaluierung der §§20a und b PolG NRW
Gegenstand dieses Projekts war die wissenschaftliche Begleitung der Evaluierung der §§ 20a und b des Polizeigesetzes Nordrhein-Westfalen (PolG NRW), welche am 01. Juli 2013 in Kraft traten. Sie wurden eingeführt zur Neuregelung des landesrechtlichen Auskunftsanspruchs der Polizei über Telekommunikations- und Telemediendaten und der Datenerhebung mit eigenen technischen Mitteln. Im Gesetz wurde verankert, dass die Auswirkungen dieser Vorschrift und die praktische Anwendung (…) nach einem Erfahrungszeitraum von drei Jahren durch die Landesregierung unter Mitwirkung einer oder eines unabhängigen wissenschaftlichen Sachverständigen geprüft (werden)(§20a Absatz 7 Satz 1).
Diese gesetzliche Neuregelung betrifft eine in der Politik und Öffentlichkeit immer wieder intensiv diskutierte Frage. So ist es einerseits Aufgabe der Polizei (nicht nur in) NRW, die innere Sicherheit im Land zu gewährleisten und sie ist daher mit allen Befugnissen auszustatten, die sie zur Erfüllung dieser Aufgabe benötigt. Andererseits argumentieren Datenschützer, dass gerade die Telekommunikations- und Telemediendaten einen sehr sensiblen Bereich der individuellen Privatsphäre darstellen, des es so weitreichend wie möglich zu schützen gilt. Aus diesem Grund sollte durch die neuen Normen ein klarer Handlungsrahmen geschaffen werden, der sowohl Polizei als auch Dienstanbietern im Bereich Telekommunikation Rechtssicherheit verschafft. Das CEval war im Rahmen der Evaluation insbesondere für die Konkretisierung und Operationalisierung der leitenden Fragestellungen, die Identifizierung geeigneter Indikatoren und die Entwicklung eines geeigneten Evaluationsdesigns und der Erhebungsinstrumente zuständig und unterstützte bei der Datenerhebung. Auch die Analyse der Daten und die Berichtsfertigung erfolgten unter der Federführung des CEval.
Methodisch wurden sowohl leitfadengestützte Interviews, Fokusgruppendiskussionen als auch standardisierte Befragungen durchgeführt, um so Aussagen über durch die Einführung des Gesetzes bewirkte Veränderungen in den Prozessabläufen und die Auswirkungen der Neuregelung zu generieren und Empfehlungen für die Weiterentwicklung des Gesetzes abzuleiten.
