Evaluation von CALIDENA & Partizipatives Instrument zur Qualitätsinfrastrukturentwicklung
Das CEval war von der Physikalisch Technischen Bundesanstalt (PTB) mit der Evaluierung von CALIDENA beauftragt worden, einem partizipativen Instrument zur Unterstützung der systematischen und nachhaltigen Verbesserung von Qualitätsinfrastrukturen in Entwicklungsländern. Die Evaluierung zielte darauf ab, auf Grundlage bisher gesammelter Erfahrungen mit dem Instrument, relevante Informationen für dessen Weiterentwicklung und Übertragung auf neue Kontexte bereitzustellen.
Zu diesem Zweck wendete das CEval einen ausgewogenen Methodenmix an. Zur Informationsgewinnung wuredn qualitative Experteninterviews mit quantitativen Erhebungen, teilnehmenden Beobachtungen und Gruppeninterviews verbunden. Nach deren Auswertung wurden die Ergebnisse in einem Bericht aufbereitet und präsentiert und flossen in eine übergeordnete Evaluationssynthese verschiedener Instrumente der PTB im Bereich Qualitätsinfrastrukturentwicklung ein, die ebenfalls vom CEval durchgeführt wurden.
Synthese von drei Instrumentenevaluationen der Technischen Zusammenarbeit der PTB
Das CEval wurde von der Physikalisch Technischen Bundesanstalt (PTB) mit der Ergebnissynthese dreier Instrumentenevaluationen beauftragt. 2014 hatte die PTB die separate Evaluation von drei Instrumenten ihrer technischen Zusammenarbeit in Auftrag gegeben & CALIDENA, QuISP und NMI-Metrology User Relations & von denen die ersten beiden vom CEval durchgeführt wurden. Ihrer Ergebnisse sollen nun aggregiert, verglichen und kontrastiert werden um übergeordnete Erfolgsfaktoren und Lernerfahrungen zu identifizieren und relevante Empfehlungen abzuleiten, unter anderem mit Blick auf den zukünftigen Einsatz der Instrumente in der technischen Zusammenarbeit der PTB.
Zu diesem Zweck unterzog das CEval die Evaluationsberichte einer qualitativen Inhaltsanalyse und Daten über qualitative Experteninterviews ergänzende Daten. Die Ergebnisse wurden in einem Bericht aufbereitet und der PTB bei einem Workshop präsentiert.
Begleitende Evaluation des Projektes „Media in Libya & Stability through Structure“
Das Projekt „Media in Libya – Stability through Structure“ hatte das übergeordnete Ziel, die Einführung einer modernen Mediengesetzgebung in Libyen zu unterstützen und die Medieninstitutionen des Landes zu stärken. Darüber hinaus sollte das Projekt zu einer Stärkung von unabhängigem und professionellem Journalismus in den Provinzen Libyens beitragen. Das Projekt hatte eine Gesamtlaufzeit von insgesamt 30 Monaten und wurde von der Europäischen Kommission im Rahmen des SPRING Programms gefördert. Gesteuert und umgesetzt wurde das Projekt von der Deutsche Welle-Akademie (Abteilung Medienentwicklung, Team Afrika) in Kooperation mit dem Institute for War and Peace Reporting (IWPR). Die Maßnahmen des Projekts waren in vier Aktivitätscluster untergliedert, von denen die DW-Akademie drei und das IWPR eines bearbeitete. Das CEval evaluierte in diesem Projekt die Cluster 1 bis 3, für deren Umsetzung die DW-Akademie verantwortlich war.
Die Evaluierung des Projekts unterteilte sich in eine Basis-, eine Zwischen- und eine Abschlussevaluation zum Ende der Implementierungsphase. Zur Datengewinnung folgte das CEval einem „mixed-methods“ Ansatz. Dabei wurde eine vertiefende Analyse bereits vorhandener Dokumente vorgenommen und es wurden eigene Erhebungen (standardisierte Onlinebefragungen der Teilnehmer der Trainings und qualitative Leitfadeninterviews mit externen Experten und Verantwortlichen der DW-Akademie) durchgeführt.
Konzeption, (Erst-)Durchführung und Auswertung eines Expertenpanels in Chile zur Analyse qualitativer Rahmenfaktoren des Erneuerbaren Energien Sektors
Die Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ) GmbH unterstützt im Auftrag des Bundesministeriums für Umwelt, Naturschutz, Bau und Reaktorsicherheit (BMUB) das Chilenische Energieministerium bei der Umsetzung von Maßnahmen zur Diversifizierung der Energieversorgung des Landes. Hierfür setzt die GIZ eine Reihe von Vorhaben um, zu denen auch ein Projekt zur Förderung des Ausbaus der Solarenergienutzung zählt. Zu Beginn des Projekts sollten die quantitativen und qualitativen Rahmenfaktoren erfasst werden, die Einfluss auf die Wirksamkeit und Nachhaltigkeit und damit die Zielerreichung des Projekts haben. Insbesondere für die Dokumentation der qualitativen Faktoren waren empirische Daten erforderlich, die im Rahmen eines Expertenpanels, also einer strukturierten Befragung von Energieexperten, erhoben werden sollten.
Die CEval GmbH erbrachte im Rahmen dieses Auftrags die folgenden Leistungen:
- Konzeptentwicklung: Festlegung der zu befragenden Experten in Abstimmung mit GIZ-Mitarbeitern, Erstellung strukturierter und an verschiedene Akteursgruppen angepasster Fragenkataloge, Konzeption der zukünftig periodisch durchzuführenden Panelerhebungen, methodisches Konzept zur längerfristigen Weiterführung des Expertenpanels
- Durchführung der Ersterhebung des Expertenpanels
- Auswertung, Nachbereitung und Berichterstattung der Ersterhebung des Expertenpanels
- Konzeptentwicklung zur Ableitung quantitativer Wirkungen basierend auf der qualitativen Erhebung unter Anwendung des von Stockmann entwickelten „Trichterverfahrens.
Evaluation des Vorhabens „Aufbau bedarfsgerechter und regional harmonisierter Qualitätsinfrastruktur in der Andenregion“
Das CEval wurde von der Physikalisch-Technischen Bundesanstalt (PTB) mit der Evaluation des Vorhabens „Aufbau bedarfsgerechter und regional harmonisierter Qualitätsinfrastruktur in der Andenregion“ beauftragt.
Das Vorhaben umfasste die Länder Bolivien, Ecuador, Kolumbien und Peru und strebte eine Verbesserung der durch die lokalen Institutionen der Qualitätsinfrastruktur (QI) angebotenen Dienstleistungen an. Die Evaluation orientierte sich an den DAC-Kriterien (Relevanz, Effektivität, Impact, Effizienz, Nachhaltigkeit) und den Komponenten des Managementmodells „Capacity Works“ (Strategie, Kooperation, Steuerungsstruktur, Prozesse, Lernen und Innovation). Spezifische Evaluationsfragen waren:
– Wie erfolgreich war das Konzept der Schaffung regionaler QI-Angebote?
– Inwieweit halten die Partner den regionalen Ansatz für sinnvoll?
– Welche Erfolgsfaktoren und Lernerfahrungen lassen sich identifizieren?
– Wie erfolgreich war der Ansatz, sektorbezogene Angebotsstrategien pro Land ausarbeiten zu lassen?
– Welche Erfolgsfaktoren und Lernerfahrungen gibt es dazu?
Zunächst stützte sich die Evaluation ausschließlich auf Projektdokumente, um die Möglichkeit der Durchführbarkeit von rein dokumentbasierten Evaluationen zu beleuchten. Nach einer ersten Einschätzung der Ergebnisse wurden diese durch Interviews mit Projektbeteiligten der PTB und Partnerinstitutionen ergänzt und Empfehlungen für zukünftige Projekte und dokumentenbasierte Evaluationen abgleitet.
Meta-Evaluierung: Evaluierungen in der Internationalen Entwicklungszusammenarbeit der Friedrich-Ebert-Stiftung (FES)
Um die eigene Arbeit kontinuierlich zu verbessern, um als Organisation aus gesammelten Erfahrungen Lernprozesse zu initiieren und um der Rechenschaftspflicht gegenüber dem Zuwendungsgeber nachzukommen, gibt die Abteilung Internationale Entwicklungszusammenarbeit (IEZ) der Friedrich-Ebert-Stiftung (FES) pro Jahr circa zehn externe Evaluierungen in Auftrag.
Im Rahmen einer Meta-Evaluierung war das Centrum für Evaluation (CEval) mit der Analyse von 18 Evaluierungsberichten beauftragt, die zwischen 2012 und 2014 in einer Phase erstellt worden waren in der sich das Qualitätsmanagement der IEZ stark weiterentwickelt hat. Ziel der Meta-Evaluierung war es systematische Stärken und Schwächen der gängigen Evaluierungspraxis zu identifizieren, daraus Erkenntnisse für die Verbesserung der Qualität von künftigen Evaluierungen abzuleiten und so deren Nützlichkeit für Projektleitungen und die zuständigen Referate zu erhöhen.
Während die Qualität der Evaluierungsberichte in einer Deskstudie analysiert wurde, fanden darüber hinaus vertiefende Experteninterviews und Fokusgruppendiskussionen innerhalb der FES statt um die Nützlichkeit der Evaluierungen zu bewerten.
Weiterentwicklung des Monitoring und Berichtssystems zum Aktionsplan „Inklusion von Menschen mit Behinderungen“ in der deutschen entwicklungspolitischen Zusammenarbeit
Das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) hatte im Februar 2013 zur Umsetzung der Verpflichtungen, die sich aus Artikel 32 der Konvention über die Rechte von Menschen mit Behinderungen (MmB) der Vereinten Nationen ergeben, den Aktionsplan zur Inklusion von MmB veröffentlicht. Dieser gibt die zentralen Leitlinien und strategischen Ziele der Bundesrepublik Deutschland für die inklusive Gestaltung ihrer entwicklungspolitischen Zusammenarbeit vor.
Zur Fortschrittsbewertung und zur Steuerung der im Rahmen des Aktionsplans durchgeführten Maßnahmen bedurfte es eines adäquaten Monitoringsystems und Berichtswesen für dessen Konzeption methodisches Fachwissen notwendig war. Dementsprechend war das Centrum für Evaluation (CEval) beauftragt worden, das Sektorvorhaben „Inklusion von Menschen mit Behinderungen“ der deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) und das Referat 300 des BMZ bei der Erstellung eines Monitoring- und Analyserahmen zu unterstützen.
Unterstützung der Aufbereitung von möglichen methodischen Ansätzen zur Evaluierung mittel- und langfristiger Wirkungen der (Politik-) Beratung im spezifischen Kontext des CEPAL-Vorhabens
Die Gesellschaft für Internationale Zusammenarbeit (GIZ) ist im Juli 2014 mit der Durchführung eines zweijährigen TZ-Beratungsvorhabens „Strukturwandel für eine nachhaltige und inklusive Entwicklung“ mit der CEPAL (Wirtschaftskommission für Lateinamerika und die Karibik) beauftragt worden. Vor diesem Hintergrund arbeitet das Vorhaben aktuell mit einem Monitoring-System, welches eine Nachverfolgung der durchgeführten Aktivitäten/Beratungsdienstleistungen der CEPAL (inputs) und deren Nutzung (outputs) erlaubt. Eine Beobachtung der langfristigen Wirkungen findet bisher nur bedingt statt.
Die Hertie-School of Governance (HSoG) wurde mit der Aufbereitung von möglichen methodischen Ansätzen zur Evaluierung mittel- und langfristiger Wirkungen von (Politik-) Beratung im spezifischen Kontext des CEPAL-Vorhabens beauftragt. Da es für eine erfolgreiche Umsetzung des Beratungsprozesses neben Kenntnissen aus der Politikberatung umfassender Expertise in der Evaluationsforschung und -praxis bedarf, ist die HSoG an das Centrum für Evaluation (CEval) herangetreten um dieses als Konsortialpartner zu gewinnen. Der Beratungsprozess setzt sich dabei aus den folgenden drei Arbeitspaketen zusammen:- Grundlegende Aufbereitung theoretischer Ansätze zur Evaluierung von Politikberatung (unter Bezugnahme auf qualitative Methoden der empirischen Sozialforschung);
- Aufarbeitung von praktischen Erfahrungen aus der Politikberatung, wenn möglich in vergleichbaren Kontexten;
- Darstellung eines methodischen Ansatzes zur Messung von mittel- und langfristigen Wirkungen aufbauend auf den Erkenntnissen der ersten beiden Arbeitspakete für den spezifischen Kontext des Kooperationsprogramms mit der CEPAL. Das CEval war schwerpunktmäßig am dritten Arbeitspaket beteiligt und entwickelte einen methodischen Ansatz, welcher eine Kombination von vorhabenübergreifendem Impact- und programmspezifischem Outcome-M&E umfasst. Der Ansatz sieht dabei einen Methodenmix aus Dokumentenanalyse, standardisierten (Online)Befragungen und leitfadengestütztem Expertenpanel vor.
Verbleibstudie: Evaluation der Begabtenförderung der Heinrich-Böll-Stiftung e.V.
Zu den zentralen Aufgaben der Heinrich-Böll-Stiftung (hbs) gehört die Studien- und Promotionsförderung. Seit dem Beginn der Studien- und Promotionsförderung im Jahre 1990 wurden rund 3000 Studierende und Promovierende gefördert. Das Ziel der Nachwuchsförderung ist es, die ausgewählten Persönlichkeiten sowohl materiell wie ideell zu unterstützen und damit einen Beitrag zur Förderung der demokratischen Kultur sowie grüner Ideen und Werte zu leisten.
Das CEval führte zur Evaluation der Langzeitwirkung der Begabtenförderung eine Verbleibstudie aller ehemaligen Stipendiatinnen und Stipendiaten der hbs durch. Die Förderwirkungen der hbs in Studium und Promotion wurden dabei erstmals dokumentiert und fach-, zielgruppen- und diversityspezifisch analysiert. Aufgabe war es, die Langzeitwirkungen der Begabtenförderung zu analysieren und die Befunde mit den Ergebnissen anderer Absolventen- und Verbleibstudien zu vergleichen.
Zur Datengewinnung folgte das CEval einem mixed-methods Ansatz. Dabei wurde eine vertiefende Analyse bereits vorhandener Daten und Dokumente vorgenommen und es wurden eigene Erhebungen in Form einer standardisierten Onlinebefragung der Alumni und qualitativen Leitfadeninterviews mit Alumni und Zuständigen der hbs durchgeführt.
Wirkungsevaluierung des Nachwuchsförderprogramms „Agentes de Cambio“ in Zentralamerika sowie der Dominikanischen Republik
Die Friedrich-Ebert-Stiftung (FES) hatte das Centrum für Evaluation mit der Evaluierung des Nachwuchsförderprogramm „Agentes de Cambio“ beauftragt, welches ein zentraler Bestandteil der Stiftungsarbeit ist und sich über die Länder Costa Rica, Dominikanische Republik, Guatemala, Honduras, El Salvador, Nicaragua und Panama erstreckt. Ziel der Evaluierung war es, die Wirkungen des Nachwuchsförderprogramms in der Summe zu verstehen und gleichzeitig mögliche länderspezifische Besonderheiten herauszuarbeiten und damit die Basis für Empfehlungen zur Weiterentwicklung des Curriculums, zur Anpassung von Projektzielen und -strategien sowie zur Verbesserung von Steuerungsmechanismen zu legen. Darüber hinaus sollte der FES ein praxistaugliches Datenerhebungsinstrument zum Programmmonitoring und zur Evaluierung in den teilnehmenden Ländern an die Hand gegeben werden.
Bei der Evaluierung kombinierte das CEval in einem quasi-experimentellen Untersuchungsdesign teilstandardisierte Online-Erhebungen mit Fokusgruppendiskussionen und leitfadengestützte Experteninterviews.
