Evaluierung und Beratung: Der QUIZ-Kompass auf dem Prüfstand
Um die eigene Arbeit effizienter zu planen und den wachsenden Qualitätsansprüchen im Rahmen der Wirkungsdebatte in der Entwicklungszusammenarbeit gerecht zu werden, hat die Abteilung Internationale Entwicklungszusammenarbeit der FES den QUIZ-Kompass (Qualitätsmanagement in der Internationalen Zusammenarbeit) im Jahr 2006 entwickelt, in den Folgejahren getestet um im Jahr 2010 verbindlich für alle Landesprojekte eingeführt.
Parallel dazu hat das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) eine Arbeitsgruppe zur Vereinheitlichung und Verbesserung des Berichts- und Antragswesens für die politischen Stiftungen ins Leben gerufen. Dies führte schließlich im Jahr 2012 zur Einführung neuer Berichts- und Antragsformate, die nunmehr für alle politischen Stiftungen verbindlich sind.
Durch diese Entwicklungen sind zum einen die Anforderungen im Berichts- und Antragswesen gestiegen. Zum anderen hat sich gezeigt, dass der QUIZ-Kompass und die BMZ-Vorgaben gemeinsam betrachtet einige Überlappungen und kleinere Widersprüche aufweisen. Dies hat dazu geführt, dass die FES sich entschieden hat den QUIZ-Kompass zu überarbeiten. Ziel der Evaluierung und Beratung war in einem ersten Schritt seine Aktualität im Hinblick auf den Status quo der Wirkungsdebatte in der Entwicklungszusammenarbeit zu analysieren. In einem zweiten Schritt ging es darum die Praktikabilität des Instrumentes zu evaluieren. In einem dritten Schritt sollten schließlich Empfehlungen für die Verschlankung und Neukonzipierung des Instruments aus den gewonnenen Erkenntnissen abgeleitet werden.
Aufbereitung methodischer Ansätze und Erfahrungen zur Wirkungsevaluation von Trainingsmaßnahmen im öffentlichen Sektor
Gemeinsam mit dem in Costa Rica ansässigen Institut CICAP beriet das CEval das GIZ-Vorhaben CADESAN in der Andenregion. Das Regionalvorhaben unterstützt die Entwicklung von Capacity Building Angeboten in den Bereichen Dezentralisierung und Modernisierung der öffentlichen Verwaltung.
Der Beratungsauftrag zielte darauf ab, der GIZ und ihren Partnerinstitutionen in der Region eine Analyse und Aufbereitung möglicher methodischer Ansätze zur Verfügung zu stellen, um die Wirkungen entsprechender Capacity Building und Trainingsmaßnahmen zu evaluieren. Hierzu wurden verschiedene Ansätze und Evaluationsdesigns, deren Anwendbarkeit auf den genannten Bereich sowie internationale Erfahrungen und Praktiken aufbereitet. Die Ergebnisse wurden bei einem Training mit der GIZ und ihren Partnern diskutiert.
Lab2Venture: Unternehmerisches Denken und Handeln in Lernort Laboren
Das von der Deutschen Kinder- und Jugendstiftung (DKJS), dem LernortLabor des Bundesverbandes der Schülerlabore e.V. (LeLa) und des TheoPrax-Zentrums des Fraunhofer Instituts für Chemische Technologie (TheoPrax) durchgeführte Vorhaben „Lab2Venture: Unternehmerisches Denken und Handeln in Lernort Laboren“ zielte darauf ab, Schülerlabore in die Lage zu versetzen, interessierte Schülerinnen und Schüler nicht nur in naturwissenschaftlicher Projektarbeit zu begleiten, sondern darüber hinaus dahin zu führen, dass sie eine Unternehmensgründung als realisierbar erkennen.
Insgesamt wurden über die drei Module hinweg bundesweit zehn Schülerlabore bei der Verknüpfung von naturwissenschaftlich-technisch orientierten Themen mit der Wirtschaftswelt sowie beim Aufbau von Schülerfirmen über einen Zeitraum von gut einem Jahr begleitend unterstützt. Zielgruppen des Vorhabens waren primär ca. 200 14-17-jährige Jugendliche, die während Modul II in den ausgewählten Schülerlaboren experimentierten, forschten und Produktideen entwickeln sollten.
Des Weiteren gehörten auch die Mitarbeiter:innen in den Laboren (d.h. Wissenschaftler:innen, Laborangestellte sowie Lehrer:innen und studentische Hilfskräfte) zu den Zielgruppen. Langfristig sollten die Mitarbeiter:innen über das Projekt hinaus als Multiplikatoren für die Weiterverbreitung des unternehmerischen Handlungswissens im Rahmen ihrer Lehrtätigkeit fungieren.
Ziel der Evaluation war es, unter Einbezug der Beteiligten systematisch Rückmeldungen und Anmerkungen über das Projekt zu gewinnen und diese mit der qualitativen Zielerreichung in Beziehung zu setzen. Ein besonderes Augenmerk wurde dabei auf die Prozessorientierung gelegt, die zur Weiterentwicklung sowie der möglichen Ausweitung des Vorhabens, nach dem Ende der Modellphase in Dezember 2013, beitragen sollte. Aufgabe der Evaluation war es entsprechend zu überprüfen, inwieweit die Zielsetzungen für beide o.g. Zielgruppen erreicht wurden, also in welchem Maße unternehmerische Themen erlernt, angewendet, beherrscht, weiterverfolgt etc. wurden.
Für die prozessorientierte Evaluation des Lab2Venture Projekts wendete die CEval GmbH ein Paneldesign an, welches auf einer Kombination aus qualitativen und quantitativen Datenerhebungs- und auswertungsverfahren fußte. die Datenerhebung erfolgte projektbegleitend an drei Erhebungszeitpunkten.
Projektevaluierung und Prüfung einer Folgemaßnahme des GIZ Sektorvorhabens Inklusion von Menschen mit Behinderungen
Im Rahmen der Projektevaluierung wurde geprüft inwiefern das Sektorvorhaben Inklusion von Menschen mit Behinderungen der Deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) entwicklungspolitische Wirkungen entfalten konnte.
In Anlehnung an die OECD-DAC Kriterien wurden Experteninterviews und Fokusgruppendiskussionen geführt sowie M&E-Daten des Sektorvorhabens und weiterführende Dokumente systematisch ausgewertet. Damit wurde ein Beitrag zur Rechenschaftslegung gegenüber dem Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) geleistet, durch die Veröffentlichung eines Kurzberichts den Anforderungen der International Aid Transparency Initiative (IATI) nachgekommen sowie die Grundlage für die Planung einer Folgemaßnahme gelegt.
Evaluation der Initiative „Schulen & Partner der Zukunft“ (PASCH)
Die im Jahr 2008 ins Leben gerufene Initiative „Schulen & Partner der Zukunft“ (PASCH) gehört zu den zentralen Initiativen der Auswärtigen Kultur- und Bildungspolitik der aktuellen Legislaturperiode. PASCH ist ein weltweites Netzwerk von derzeit ca. 1800 Partnerschulen mit hoher Deutschlandbindung, an denen verstärkt Deutsch unterrichtet wird. Die Initiative bündelt breit gefächerte Maßnahmen, die dazu beitragen sollen, lebendige, langfristige Bindungen zu Deutschland aufzubauen und die Schulen, ihre Lehrkräfte sowie Schüler:innen zum Austausch und zur Zusammenarbeit anzuregen. PASCH wird vom Auswärtigen Amt koordiniert und gemeinsam mit der Zentralstelle für das Auslandsschulwesen (ZfA), dem Goethe-Institut (GI), dem Pädagogischen Austauschdienst (PAD), der Kultusministerkonferenz (KMK) und dem Deutschen Akademischen Austauschdienst (DAAD) umgesetzt.
Im Rahmen der Evaluation wurde PASCH hinsichtlich Relevanz, Effizienz, Effektivität, Wirksamkeit (Impact) und Nachhaltigkeit überprüft. Dabei wurde auch untersucht, inwiefern sich die bestehenden Angebote, Prozesse und Strukturen zukünftig zur Zielerreichung eignen. Auf Basis der Ergebnisse wurden Empfehlungen zur Optimierung der Maßnahmen, Prozesse und Strukturen und zur Schaffung von Synergien abgeleitet.
Die Evaluation fand in zwei Phasen statt: In der ersten Phase wurden die Dokumentenanalysen sowie persönliche und telefonische leitfadengestützte Interviews mit Stakeholdern in Deutschland und ausgewählten Partnerländern (Polen, Türkei, China) geführt. Schwerpunkt der zweiten Phase war eine breit angelegte quantitative Onlinebefragung mit den PASCH-Zielgruppen in insgesamt zehn Partnerländern.
Externe Evaluation von vier Projekten im Bereich Bewusstseinsbildung und Erstellung eines Syntheseberichts
Als internationale christliche Entwicklungsorganisation hat sich die Christoffel Blindenmission (CBM) die Verbesserung der Menschenrechtssituation und die Inklusion von Menschen mit Behinderungen zum Ziel gesetzt. Dabei kommt der Bewusstseinsbildung als Komponente zahlreicher Entwicklungsprojekte eine wichtige Rolle zu. CBM Deutschland beauftragte das CEval mit der Evaluation von vier Projekten und der Erstellung eines Syntheseberichts, um mehr über die Implementierung von Bewusstseinsbildungsaktivitäten zu lernen, ihren Beitrag zu CBMs übergeordneten Zielen besser zu verstehen und nachzuvollziehen wie projekt-und länderspezifische Faktoren unterschiedliche Wirkungen produzieren.
Mit Kofinanzierung durch die Europäische Union oder das Bundesministerium für wirtschaftliche Entwicklung und Zusammenarbeit implementiert CBM Deutschland zwei Projekte in den Palästinensischen Gebieten (Gaza-Stadt und Gaza-Streifen), die an den Bedürfnisse von Menschen mit Hörbehinderung ansetzen, ein Projekt in Indien um die augenärztliche Versorgung im ländlichen Raum und die Rehabilitierung von Menschen mit Sehbehinderung zu verbessern und ein Projekt in Swasiland, dass sich für die Stärkung der Rechte von Menschen mit Behinderung und deren Inklusion einsetzt. Diese sehr unterschiedlichen Projekte erlaubten es die Thematik Bewusstseinsbildung von verschiedenen Perspektiven zu untersuchen und somit zu einem besseren Verständnis der verschiedenen Ansätze, zugrundeliegenden Wirkungsketten und (erwarteten) Wirkungen beizutragen. Während die Projekte in Gaza-Stadt und Indien einer Zwischenevaluation unterzogen wurden, wurde für die Projekte im Gaza-Streifen und in Swasiland eine Abschlussevaluation durchgeführt.Entwicklung eines Monitoring- und Evaluierungsrahmens für das Plan Projekt „Adolescent Boys: Champions of Change on Gender Equality and Girls‘ Rights“
Plan International ist eine nicht-religiöse und nicht-politische Nichtregierungsorganisation welche sich für die dauerhafte Verbesserung der Lebensumstände von Kindern in Afrika, Asien und Lateinamerika einsetzt.
Um die Gleichberechtigung der Geschlechter zu fördern und Jungen und Männer in diese Arbeit zu involvieren, starteten Plan International Deutschland und Plan International Finnland zusammen mit vier Länderbüros aus Lateinamerika das Pilotprojekt „Adolescent Boys: Champions of Change on Gender Equality and Girls Rights“. Das Projekt bildete männliche Jugendliche zu Tutoren für Geschlechtergleichstellung aus und wurde in fünf Ländern umgesetzt: El Salvador, Guatemala, Honduras, Dominikanische Republik und Deutschland.
Das Centrum für Evaluation (CEval) evaluierte das Pilotprojekt mit Hilfe quantitativer und qualitativer Methoden, sammelte gemachte Erfahrungen und entwickelte einen Monitoring- und Evaluationsrahmen für die zukünftige Implementierung und Ausweitung des Projekts.
Evaluation von CALIDENA & Partizipatives Instrument zur Qualitätsinfrastrukturentwicklung
Das CEval war von der Physikalisch Technischen Bundesanstalt (PTB) mit der Evaluierung von CALIDENA beauftragt worden, einem partizipativen Instrument zur Unterstützung der systematischen und nachhaltigen Verbesserung von Qualitätsinfrastrukturen in Entwicklungsländern. Die Evaluierung zielte darauf ab, auf Grundlage bisher gesammelter Erfahrungen mit dem Instrument, relevante Informationen für dessen Weiterentwicklung und Übertragung auf neue Kontexte bereitzustellen.
Zu diesem Zweck wendete das CEval einen ausgewogenen Methodenmix an. Zur Informationsgewinnung wuredn qualitative Experteninterviews mit quantitativen Erhebungen, teilnehmenden Beobachtungen und Gruppeninterviews verbunden. Nach deren Auswertung wurden die Ergebnisse in einem Bericht aufbereitet und präsentiert und flossen in eine übergeordnete Evaluationssynthese verschiedener Instrumente der PTB im Bereich Qualitätsinfrastrukturentwicklung ein, die ebenfalls vom CEval durchgeführt wurden.
Synthese von drei Instrumentenevaluationen der Technischen Zusammenarbeit der PTB
Das CEval wurde von der Physikalisch Technischen Bundesanstalt (PTB) mit der Ergebnissynthese dreier Instrumentenevaluationen beauftragt. 2014 hatte die PTB die separate Evaluation von drei Instrumenten ihrer technischen Zusammenarbeit in Auftrag gegeben & CALIDENA, QuISP und NMI-Metrology User Relations & von denen die ersten beiden vom CEval durchgeführt wurden. Ihrer Ergebnisse sollen nun aggregiert, verglichen und kontrastiert werden um übergeordnete Erfolgsfaktoren und Lernerfahrungen zu identifizieren und relevante Empfehlungen abzuleiten, unter anderem mit Blick auf den zukünftigen Einsatz der Instrumente in der technischen Zusammenarbeit der PTB.
Zu diesem Zweck unterzog das CEval die Evaluationsberichte einer qualitativen Inhaltsanalyse und Daten über qualitative Experteninterviews ergänzende Daten. Die Ergebnisse wurden in einem Bericht aufbereitet und der PTB bei einem Workshop präsentiert.
Begleitende Evaluation des Projektes „Media in Libya & Stability through Structure“
Das Projekt „Media in Libya – Stability through Structure“ hatte das übergeordnete Ziel, die Einführung einer modernen Mediengesetzgebung in Libyen zu unterstützen und die Medieninstitutionen des Landes zu stärken. Darüber hinaus sollte das Projekt zu einer Stärkung von unabhängigem und professionellem Journalismus in den Provinzen Libyens beitragen. Das Projekt hatte eine Gesamtlaufzeit von insgesamt 30 Monaten und wurde von der Europäischen Kommission im Rahmen des SPRING Programms gefördert. Gesteuert und umgesetzt wurde das Projekt von der Deutsche Welle-Akademie (Abteilung Medienentwicklung, Team Afrika) in Kooperation mit dem Institute for War and Peace Reporting (IWPR). Die Maßnahmen des Projekts waren in vier Aktivitätscluster untergliedert, von denen die DW-Akademie drei und das IWPR eines bearbeitete. Das CEval evaluierte in diesem Projekt die Cluster 1 bis 3, für deren Umsetzung die DW-Akademie verantwortlich war.
Die Evaluierung des Projekts unterteilte sich in eine Basis-, eine Zwischen- und eine Abschlussevaluation zum Ende der Implementierungsphase. Zur Datengewinnung folgte das CEval einem „mixed-methods“ Ansatz. Dabei wurde eine vertiefende Analyse bereits vorhandener Dokumente vorgenommen und es wurden eigene Erhebungen (standardisierte Onlinebefragungen der Teilnehmer der Trainings und qualitative Leitfadeninterviews mit externen Experten und Verantwortlichen der DW-Akademie) durchgeführt.
