Evaluation von CALIDENA & Partizipatives Instrument zur Qualitätsinfrastrukturentwicklung
Das CEval war von der Physikalisch Technischen Bundesanstalt (PTB) mit der Evaluierung von CALIDENA beauftragt worden, einem partizipativen Instrument zur Unterstützung der systematischen und nachhaltigen Verbesserung von Qualitätsinfrastrukturen in Entwicklungsländern. Die Evaluierung zielte darauf ab, auf Grundlage bisher gesammelter Erfahrungen mit dem Instrument, relevante Informationen für dessen Weiterentwicklung und Übertragung auf neue Kontexte bereitzustellen.
Zu diesem Zweck wendete das CEval einen ausgewogenen Methodenmix an. Zur Informationsgewinnung wuredn qualitative Experteninterviews mit quantitativen Erhebungen, teilnehmenden Beobachtungen und Gruppeninterviews verbunden. Nach deren Auswertung wurden die Ergebnisse in einem Bericht aufbereitet und präsentiert und flossen in eine übergeordnete Evaluationssynthese verschiedener Instrumente der PTB im Bereich Qualitätsinfrastrukturentwicklung ein, die ebenfalls vom CEval durchgeführt wurden.
Synthese von drei Instrumentenevaluationen der Technischen Zusammenarbeit der PTB
Das CEval wurde von der Physikalisch Technischen Bundesanstalt (PTB) mit der Ergebnissynthese dreier Instrumentenevaluationen beauftragt. 2014 hatte die PTB die separate Evaluation von drei Instrumenten ihrer technischen Zusammenarbeit in Auftrag gegeben & CALIDENA, QuISP und NMI-Metrology User Relations & von denen die ersten beiden vom CEval durchgeführt wurden. Ihrer Ergebnisse sollen nun aggregiert, verglichen und kontrastiert werden um übergeordnete Erfolgsfaktoren und Lernerfahrungen zu identifizieren und relevante Empfehlungen abzuleiten, unter anderem mit Blick auf den zukünftigen Einsatz der Instrumente in der technischen Zusammenarbeit der PTB.
Zu diesem Zweck unterzog das CEval die Evaluationsberichte einer qualitativen Inhaltsanalyse und Daten über qualitative Experteninterviews ergänzende Daten. Die Ergebnisse wurden in einem Bericht aufbereitet und der PTB bei einem Workshop präsentiert.
Begleitende Evaluation des Projektes „Media in Libya & Stability through Structure“
Das Projekt „Media in Libya – Stability through Structure“ hatte das übergeordnete Ziel, die Einführung einer modernen Mediengesetzgebung in Libyen zu unterstützen und die Medieninstitutionen des Landes zu stärken. Darüber hinaus sollte das Projekt zu einer Stärkung von unabhängigem und professionellem Journalismus in den Provinzen Libyens beitragen. Das Projekt hatte eine Gesamtlaufzeit von insgesamt 30 Monaten und wurde von der Europäischen Kommission im Rahmen des SPRING Programms gefördert. Gesteuert und umgesetzt wurde das Projekt von der Deutsche Welle-Akademie (Abteilung Medienentwicklung, Team Afrika) in Kooperation mit dem Institute for War and Peace Reporting (IWPR). Die Maßnahmen des Projekts waren in vier Aktivitätscluster untergliedert, von denen die DW-Akademie drei und das IWPR eines bearbeitete. Das CEval evaluierte in diesem Projekt die Cluster 1 bis 3, für deren Umsetzung die DW-Akademie verantwortlich war.
Die Evaluierung des Projekts unterteilte sich in eine Basis-, eine Zwischen- und eine Abschlussevaluation zum Ende der Implementierungsphase. Zur Datengewinnung folgte das CEval einem „mixed-methods“ Ansatz. Dabei wurde eine vertiefende Analyse bereits vorhandener Dokumente vorgenommen und es wurden eigene Erhebungen (standardisierte Onlinebefragungen der Teilnehmer der Trainings und qualitative Leitfadeninterviews mit externen Experten und Verantwortlichen der DW-Akademie) durchgeführt.
Konzeption, (Erst-)Durchführung und Auswertung eines Expertenpanels in Chile zur Analyse qualitativer Rahmenfaktoren des Erneuerbaren Energien Sektors
Die Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ) GmbH unterstützt im Auftrag des Bundesministeriums für Umwelt, Naturschutz, Bau und Reaktorsicherheit (BMUB) das Chilenische Energieministerium bei der Umsetzung von Maßnahmen zur Diversifizierung der Energieversorgung des Landes. Hierfür setzt die GIZ eine Reihe von Vorhaben um, zu denen auch ein Projekt zur Förderung des Ausbaus der Solarenergienutzung zählt. Zu Beginn des Projekts sollten die quantitativen und qualitativen Rahmenfaktoren erfasst werden, die Einfluss auf die Wirksamkeit und Nachhaltigkeit und damit die Zielerreichung des Projekts haben. Insbesondere für die Dokumentation der qualitativen Faktoren waren empirische Daten erforderlich, die im Rahmen eines Expertenpanels, also einer strukturierten Befragung von Energieexperten, erhoben werden sollten.
Die CEval GmbH erbrachte im Rahmen dieses Auftrags die folgenden Leistungen:
- Konzeptentwicklung: Festlegung der zu befragenden Experten in Abstimmung mit GIZ-Mitarbeitern, Erstellung strukturierter und an verschiedene Akteursgruppen angepasster Fragenkataloge, Konzeption der zukünftig periodisch durchzuführenden Panelerhebungen, methodisches Konzept zur längerfristigen Weiterführung des Expertenpanels
- Durchführung der Ersterhebung des Expertenpanels
- Auswertung, Nachbereitung und Berichterstattung der Ersterhebung des Expertenpanels
- Konzeptentwicklung zur Ableitung quantitativer Wirkungen basierend auf der qualitativen Erhebung unter Anwendung des von Stockmann entwickelten „Trichterverfahrens.
Evaluation des Vorhabens „Aufbau bedarfsgerechter und regional harmonisierter Qualitätsinfrastruktur in der Andenregion“
Das CEval wurde von der Physikalisch-Technischen Bundesanstalt (PTB) mit der Evaluation des Vorhabens „Aufbau bedarfsgerechter und regional harmonisierter Qualitätsinfrastruktur in der Andenregion“ beauftragt.
Das Vorhaben umfasste die Länder Bolivien, Ecuador, Kolumbien und Peru und strebte eine Verbesserung der durch die lokalen Institutionen der Qualitätsinfrastruktur (QI) angebotenen Dienstleistungen an. Die Evaluation orientierte sich an den DAC-Kriterien (Relevanz, Effektivität, Impact, Effizienz, Nachhaltigkeit) und den Komponenten des Managementmodells „Capacity Works“ (Strategie, Kooperation, Steuerungsstruktur, Prozesse, Lernen und Innovation). Spezifische Evaluationsfragen waren:
– Wie erfolgreich war das Konzept der Schaffung regionaler QI-Angebote?
– Inwieweit halten die Partner den regionalen Ansatz für sinnvoll?
– Welche Erfolgsfaktoren und Lernerfahrungen lassen sich identifizieren?
– Wie erfolgreich war der Ansatz, sektorbezogene Angebotsstrategien pro Land ausarbeiten zu lassen?
– Welche Erfolgsfaktoren und Lernerfahrungen gibt es dazu?
Zunächst stützte sich die Evaluation ausschließlich auf Projektdokumente, um die Möglichkeit der Durchführbarkeit von rein dokumentbasierten Evaluationen zu beleuchten. Nach einer ersten Einschätzung der Ergebnisse wurden diese durch Interviews mit Projektbeteiligten der PTB und Partnerinstitutionen ergänzt und Empfehlungen für zukünftige Projekte und dokumentenbasierte Evaluationen abgleitet.
UNICEF-Mehrländer-Evaluation zu Inklusion aller Kinder in qualifiziertes Lernen in MOEL/GUS Staaten
Die Evaluation bewertete (i) inwiefern UNICEF einen Beitrag geleistet hat, damit die Programminterventionen sich mit wichtigen Kinderrechtsverletzungen im Bereich Bildung befasst, Gleichheitsdiskrepanzen verringert und zu Wirkungen zur Verbesserung der Situation von Kinder geführt haben. Fernerhin, wurden (ii) Lehren aus den Lernpraktiken, -innovationen und & -modelle gezogen, die für zukünftige Steuerungsprozesse innerhalb UNICEF zur Verfügung gestellt werden.
Der Evaluation lagen daher folgende Ziele zugrunde:
- nachzuweisen und zu dokumentieren welche Veränderungen im Leben von Kindern in den letzten zehn Jahren stattgefunden haben,
- zu bewerten und zu demonstrieren wie diese Wirkungen durch Systemveränderungen zustande gekommen sind, und
- den Beitrag UNICEFs zu diesen Systemveränderungen zu dokumentieren.
Zudem beachtete die Evaluation folgende Aspekte bei der Wirkungsbilanzierung:
- Kontextangemessenheit (bezüglich der Anpassung von Programmansätzen an qualitative Unterschiede);
- Koordination (mit anderen Stakeholder);
- (iii) Koheränz (über verschiedene Politiken und anderen unterstützenden Interventionen); und
- Schutz (im Sinne von Angemessenheit von jeweiligen Bildungssystemen auf den Schutz von vulnerablen Gruppen).
Letztlich leistete die Evaluation einen Beitrag dazu, dass zukünftige Programme verbessert werden, indem sie verschiedene Kindergruppen berücksichtigen, die gefährdet sind die Schule abzubrechen bzw. der Schule fernzubleiben.
Nachhaltige Wirtschaftsentwicklung Myanmar
Gemeinsam mit dem Deutschen Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) begleitete das CEval drei Vorhaben zur Nachhaltigen Wirtschaftsentwicklung in Myanmar zur Schaffung der Voraussetzungen für deren Wirkungserfassung und Bewertung. Die Beratung trug zur Verbesserung der Qualität, Relevanz und Vollständigkeit der Projektkonzepte und Programmbildung, einschließlich eines kohärenten Ziel- und Wirkungssystems bei. Damit wurden die methodischen Voraussetzungen für einen späteren Wirkungsnachweis sichergestellt. Gegenstand des Beratungsvorhabens waren drei Projekte in den Bereichen Berufliche Bildung, Privatwirtschaftsentwicklung und Finanzsektorreform, aus denen in der Zukunft ein kohärentes Programm im Bereich der Nachhaltigen Wirtschaftsentwicklung gebildet werden soll.
Aufgabe des CEval war es dementsprechend, gemeinsam mit dem DEval:
- einen Beitrag zur Qualität, Relevanz und Vervollständigung der Projektkonzeptionen und zum Aufbau eines kohärenten Ziel- und Wirkungssystems zu leisten
- Voraussetzungen für die Wirkungserfassung und Bewertung der Vorhaben zu schaffen
- einen Beitrag zur Programmbildung zu leisten sowie
- eine Wirkungsevaluierung umzusetzen.
Hierfür waren ein mehrstufiges Analyse- und Beratungskonzept ausgearbeitet worden, das im Kern aus
- der Entwicklung eines umfassenden Wirkungsmodells,
- der Erarbeitung eines entsprechend vollständigen Indikatorentableaus,
- der Umsetzung einer Baseline-Studie sowie
- der Ausarbeitung eines wirkungsorientierten Monitoring-Systems besteht.
Unabhängige Evaluierungen 2013/2014 im Sektor Ländliche Entwicklung: Management und Nutzung natürlicher Ressourcen, sowie Kapazitätenaufbau in Zentralamerika
Im diesem Zyklus der Unabhängigen Evaluierungen wurden drei GIZ-Entwicklungsmaßnahmen durch das CEval evaluiert:
- Förderung nachhaltiger Ressourcennutzung und lokale wirtschaftliche Entwicklung in Honduras (PRORENA), Honduras
- Nachhaltiges Ressourcenmanagement und Förderung unternehmerischer Kompetenzen (MASRENACE), Nicaragua
- Entwicklung und Stärkung von Kompetenzen und Kapazitäten zum Management natürlicher Ressourcen in Zentralamerika (Alianza de Aprendizaje)
Ziel der Evaluierung war es, ein vollständiges Bild der eingetretenen (positiven wie negativen, intendierten und nicht-intendierten) Veränderungen zu liefern (->Ermittlung der Wirkungsbilanz). Dabei folgte das Vorgehen der Logik eines „Trichteransatzes“, indem es zunächst alle für den Sektor relevanten Veränderungen erfasste und in einem zweiten Schritt analysierte, welche dieser Veränderungen ursächlich mit den Programminterventionen in Zusammenhang stehen (->Wirkungsattribution).
Zur Informationsgewinnung und zur Herstellung der kontrafaktischen Situation wendete das CEval einen ausgewogenen Methodenmix an. Dabei erfüllt das CEval u.a. folgende Leistungen:
- Entwicklung eines übergeordneten Wirkungsmodells der drei Vorhaben aus den Projektdokumenten, das der Bewertung der Evaluierung zugrunde liegt,
- Durchführung von qualitativen Interviews mit Schlüsselakteuren und Fokusgruppeninterviews mit Zielgruppen,
- Umsetzung quantitativer Befragungen auf Zielgruppenebene,
- bio-technische Analysen von Bodenproben und Biodiversitätsfaktoren (wie z.B. Erhebung der Bestandsgrundfläche und Anzahl der Baumarten).
Im letzten Schritt wurden die Querschnittsauswertungen aller drei Entwicklungsmaßnahmen in einem Synthesebericht zusammengefasst.
Assessing the Impacts of Multinational Corporations on Global Development and Value Creation (Global Value)
Die Bedeutung Multinationaler Unternehmen für die globale wirtschaftliche und soziale Entwicklung wird kontrovers diskutiert. Durch ihre Investitionen sind sie ein wichtiger Treiber wirtschaftlichen Wachstums, stellen Arbeitsplätze zur Verfügung und erzeugen dadurch Einkommen. Außerdem tragen sie durch die Bezahlung von Steuern zur Bereitstellung von öffentlichen Dienstleistungen bei. Gleichzeitig wird ihnen vorgeworfen, ausbeuterische Arbeitsbedingungen und Menschenrechtsverletzungen zu fördern, Umweltschäden zu verursachen und Korruption zu verbreiten. Vor allem in Entwicklungsländern werde es versäumt, verantwortungsvolle Geschäftspraktiken zu etablieren.
Im Rahmen des GLOBAL VALUE Projekts wurde ein innovatives Rahmenkonzept entwickelt, um die Auswirkungen multinationaler Unternehmen hinsichtlich nachhaltiger Entwicklung, verantwortungsvoller Arbeitsbedingungen, der Achtung von Menschenrechten und Korruptionsbekämpfung zu erfassen. Dazu wurden institutionelle Strukturen und Konzepte verantwortungsvoller Geschäftspraktiken untersucht, die Komplementarität zwischen öffentlichem und privatwirtschaftlichem Engagement bewertet sowie Empfehlungen für Entscheidungsträger in Wirtschaft, Politik und Nichtregierungsorganisationen erarbeitet.
Das Projekt wurde von verschiedenen europäischen Universitäten und zivilgesellschaftlichen Organisationen sowie Partnern der Internationalen Zusammenarbeit durchgeführt. Ein zu erarbeitendes Toolkit zur Wirkungsuntersuchung in den o.g. Bereichen wurde an führenden multinationalen Unternehmen (BATA (Bekleidung, Bangladesch), OLAM (Nahrungsmittel, Tansania)) getestet.
Die Hauptaufgabe des CEval bestand darin, einen Beitrag zur Vorbereitung und Entwicklung des Toolkits und des Rahmenkonzepts zu leisten, welches auf den Millennium Development Goals sowie den nachfolgenden Sustainable Development Goals, Menschenrechten, Gender & Diversity sowie Korruptionsbekämpfung und Transparenz basiert und Managementansätze wie Supply Chain Management, Life Cycle Analysis und Base-of-Pyramid sowie verantwortungsvolle Geschäftspraktiken, Wettbewerb und Komplementarität mit öffentlicher Entwicklungshilfe berücksichtigt. Außerdem wurden zwei Fallstudien zur Komplementarität von Aktivitäten Multinationaler Unternehmen mit öffentlicher Entwicklungshilfe durchgeführt.
Evaluation des Blended-Learning Kurses „Qualitätsinfrastruktur für Nachhaltige Entwicklung“
Das Centrum für Evaluation (CEval) war von der Physikalisch-Technischen Bundesanstalt mit der Evaluation des Blended-Learning-Kurses „Qualitätsinfrastruktur für Nachhaltige Entwicklung“ beauftragt worden. Ziel des Kurses war der Aufbau von individuellem Know-how und institutionellen Kapazitäten zur Verbesserung der Qualitätssicherung in Entwicklungsländern. Dabei standen die Standardisierung, die Normierung sowie verwandte Themenfelder im Mittelpunkt.
Durch die Evaluation wurden wichtige Erkenntnisse zur Verbesserung der Kursinhalte, der Umsetzung des Blended-Learning-Kurses, sowie zur Ausweitung des Kursangebots gewonnen.
