Weiterentwicklung des Monitoring und Berichtssystems zum Aktionsplan „Inklusion von Menschen mit Behinderungen“ in der deutschen entwicklungspolitischen Zusammenarbeit
Das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) hat im Februar 2013 zur Umsetzung der Verpflichtungen, die sich aus Artikel 32 der Konvention über die Rechte von Menschen mit Behinderungen (MmB) der Vereinten Nationen ergeben, den Aktionsplan zur Inklusion von MmB veröffentlicht. Dieser gibt die zentralen Leitlinien und strategischen Ziele der Bundesrepublik Deutschland für die inklusive Gestaltung ihrer entwicklungspolitischen Zusammenarbeit vor.
Zur Fortschrittsbewertung und zur Steuerung der im Rahmen des Aktionsplans durchgeführten Maßnahmen bedarf es eines adäquaten Monitoringsystems und Berichtswesens für dessen Konzeption methodisches Fachwissen notwendig ist. Dementsprechend wurde das Centrum für Evaluation (CEval) beauftragt das Sektorvorhaben „Inklusion von Menschen mit Behinderungen“ der deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) und das Referat 300 des BMZ bei der Erstellung eines Monitoring – und Analyserahmens zu unterstützen.
Externe Evaluation des empowering people. Network
Im Auftrag der Siemens Stiftung führte die CEval GmbH eine externe Evaluation des empowering People. Network durch. Das 2013 von der Siemens Stiftung ins Leben gerufene Netzwerk bringt Erfinder:innen und Sozialunternehmer:innen zusammen, die mit ihren Lösungen in wesentlichen Grundversorgungsbereichen wie Gesundheit, Ernährung oder Bildung einen Beitrag zur Verbesserung der Lebensbedingungen innerhalb der jeweiligen Gemeinden leisten. Durch den empowering people. Award werden Lösungen, die ein wesentliches Problem der Grundversorgung adressieren von der Siemens Stiftung im Hinblick auf die Eignung im Entwicklungskontext und ihr Business-Potential beurteilt. Die derzeit 80 Organisationen, die sich mit best practice Ansätzen durchgesetzt haben, erhalten im Rahmen anschließender Netzwerkaktivitäten langfristige Unterstützung in den Bereichen Organisationsentwicklung, Professionalisierung und Vernetzung mit relevanten Partnern.
Im Jahr 2017/18 wurde das empowering people. Network nun erstmalig evaluiert. Die Evaluation deckt die Gesamtlaufzeit des Netzwerkes seit der Gründung im Jahr 2013 ab und dient dabei er Lernerfahrungen zur zukünftigen Netzwerk- und Strategieentwicklung. Die Evaluation des empowering people. Network überprüfte daher, welche Wirkungen die jeweiligen Module für die Netzwerkmitglieder:innen erzielt haben und wie diese im Hinblick auf die übergeordneten Zielsetzungen zu bewerten sind. Dabei orientierte sie sich an den OECD/DAC-Kriterien und zeichnete sich durch einen partizipativen Multimethoden-Ansatz aus. Im Rahmen eines kontributionsanalytischen Untersuchungsansatzes wurden Dokumente- und Sekundäranalysen kombiniert mit qualitativen (leitfadengestützte Experteninterviews, Fallstudien und Fokusgruppendiskussionen) sowie quantitative Verfahren (teilstandardisierte Online-Erhebungen). Auf Grundlage der Ergebnisse wurden ‚lessons learnt‘ und Empfehlungen zur zukünftigen Optimierung der Netzwerkaktivitäten entwickelt.
Wirkungsstudie: Armutsminderung im ländlichen Raum durch Fairtrade, Fortsetzungsstudie 2017
2017 beauftragten Fairtrade Deutschland und die Max Havelaar Stiftung Schweiz, gemeinsam mit Fairtrade Österreich und dem Schweizer Staatssekretariat für Wirtschaft (SECO), zum zweiten Mal das Centrum für Evaluation (CEval) mit einer Studie, die darauf zielte den Beitrag des Fairen Handels (FT) zu ländlicher Entwicklung zu ermitteln. Die Studie stellt dabei eine Folgeuntersuchung zu der im Jahr 2012 veröffentlichten Studie dar und ermöglichte vor diesem Hintergrund eine längsschnittliche Bewertung der damaligen Ergebnisse und Veränderungen. Dabei umfasste die Studie dieselben Produkte (Bananen, Kakao, Kaffee, Baumwolle, Blumen und Tee), Produzententypen (Small Producer Organizations (SPO), Hired Labor (HL) und Contract Production Organizations (CPO)) sowie Länder (Peru, Ghana, Kenia und Indien) wie die Vorgängerstudie.
Welche Veränderungen in der ländlichen Entwicklung zu beobachten sind und inwieweit die FT-Zertifizierung einen Beitrag zu diesen Veränderungen leistet, stellte das zentrale Interesse dieser Folgestudie dar. Zu diesem Zweck wurde eine theoriebasierte Kontributionsanalyse durchgeführt, die sich an der FT Theory of Change sowie den COSA Nachhaltigkeitsindikatoren orientierte. Unter der Anwendung eines mixed-methods Ansatzes mit partizipativen Elementen, wurden vorrangig qualitative Primärdaten im Rahmen von Fokusgruppendiskussionen und Interviews erhoben. Die Datenerhebungen in den vier Fokusländern fand zwischen Oktober 2017 und Januar 2018 statt.
Formative Evaluation der Out-of-School-Children Initiative (OOSCI)
Im Focus dieser Evaluierung stand die Out-of-School-Children Initiative (OOSCI) von UNICEF und dem UNESCO Institute for Statistics (UIS). Die Initiatve wurde im Jahr 2010 initiiert, um die Anzahl von Kindern, die nicht zur Schule gehen, in den Partnerländern zu reduzieren. Zur Erreichung dieser Zielsetzung wurden einmal umfassende Profile von Kindern, die nicht zur Schule gehen, in jedem Land erstellt, die spezifischen Barrieren in jedem Land identifiziert, die dazu beitragen, dass Kinder nicht zur Schule gehen und Empfehlungen für politische und strategische Änderungen entwickelt, um diese Barrieren zu adressieren.
Die Evaluierung zielte darauf ab, die Validität der Theory of Change und ihrer Annahmen zu testen. Dadurch wurde die Programmlogik gestärkt und der Fortschritt in der Zielerreichung der Reduzierung von Kindern, die nicht die Schule besuchen, bewertet. Außerdem lieferte die Evaluierung detaillierte Informationen über den Nutzen der Initiative für die verschiedenen Stakeholder. Zudem wurden die Ergebnisse der Evaluierung dazu genutzt, den Rechenschaftspflichten gegenüber den Geldgebern nachzukommen.
Im Zentrum der Evaluierung stand eine Dokumentenanalyse zur Bewertung des Fortschritts durch OOSCI für eine Stichprobe von 42 Ländern. Die Inhalte der Dokumente wurden zur Beantwortung der Evaluationsfragen auf einer vierstufigen Skala bewertet. Neben einer deskriptiven Analyse wurden diese Kodierungen auch für eine Qualitative Comparative Analysis (QCA) genutzt. QCA ermöglichte die Analyse, welche Kombinationen von Merkmalen zu einem bestimmten Outcome führt. Zusätzliches Instrument der Datenerhebung war eine Onlinebefragung aller UNICEF Länderbüros. Es wurden weitere qualitative Daten in den USA und in acht Länderbesuchen erhoben. Die Evaluierung wurde zusammen mit Proman und weiteren Consultants durchgeführt. CEval war in der Evaluierung für die Evaluationsmethodik verantwortlich.
Meta-Evaluation von 34 Evaluationsberichten von World Vision Deutschland
Schon zum dritten Mal beauftragte World Vision Deutschland (WVD) das CEval dazu, eine Meta-Evaluation zu Evaluationsberichten von WVDs unterstützen Entwicklungsprogrammen durchzuführen. Insgesamt wurden 34 Evaluationsberichte aus den Finanzjahren 2016 und 2017 analysiert. Als Bewertungsgrundlage diente dabei ein in den vorangegangenen Meta-Evaluationen von CEval und WVD gemeinsam ausgearbeitetes Bewertungsraster, das sich zum Teil auf das international anerkannte BOND-Tool stützt. Das Raster beinhaltet die Kriterien Mitsprache und Inklusion, Transparenz, Methodik, Triangulation, Befriedigung des Informationsbedarfs, Identifizierung des Programmbeitrags, Ergebnisdarstellung sowie das neu ergänzte Kriterium der Nachhaltigkeit. Die Bewertungskriterien wurden anhand von verschiedenen Unterkriterien systematisch bewertet und schließlich in einem zweiten Schritt aggregiert und verbildlicht. Abschließend wurden Ergebnisse mit vorangegangenen Ergebnissen verglichen und erläutert.
Midterm-Review des FKPW-Programms
Im internationalen Vergleich verfügen deutsche Kommunen aufgrund der ausgeprägten kommunalen Selbstverwaltung über vergleichsweise umfangreiche Kompetenzen, welche auch für die Entwicklungszusammenarbeit sehr wertvoll sind. Im Rahmen von kommunalen Partnerschaften führen deutsche Kommunen und Südkommunen gemeinsam Projekte in Kommunen des Globalen Südens durch. Dabei wird technisches Wissen aus der deutschen Kommune in die Partnerkommune transferiert. Die Servicestelle Kommunen der Einen Welt (SKEW) bietet verschiedene Möglichkeiten der Unterstützung des entwicklungspolitischen Engagements kommunaler Partnerschaften.
Eine dieser Fördermöglichkeiten ist das personelle Förderinstrument „Fachkräfte für Kommunale Partnerschaften Weltweit“ (FKPW). Im Rahmen des FKPW-Programms können sich kommunale Partnerschaften auf die Platzierung einer Fachkraft in der Partnerkommune bewerben, die die Schaffung von Strukturen und Kapazitäten vor Ort unterstützt. Ziel des FKPW-Programms ist es, kommunale Partnerschaften und den Einsatz der deutschen Kommune durch den Einsatz einer Fachkraft besser in Wert zu setzen.
Die CEval GmbH wurde von der GIZ mit der Durchführung eines Midterm-Reviews des FKPW-Programms beauftragt. Ziel des Reviews war es, die Sichtweisen der verschiedenen in das Programm involvierten Akteur:innen zusammen zu tragen und Empfehlungen für die weitere Ausgestaltung des Programms zu geben. Oberstes Ziel war somit das institutionelle Lernen auf Seiten der beiden durchführenden Organisationen, GIZ und SKEW. Am Ziel des Reviews orientiert war die Methodik rein qualitativ und basierte auf der Vorgehensweise der offenen Perspektivenerfassung. Für das Review wurden Interviews und Fokusgruppendiskussionen mit Vertreter:innen der deutschen Kommunen, der Partnerkommunen, mit den Fachkräften und dem Steuerungsteam des Programms sowie mit Vertreterinnen des zuständigen BMZ-Referates und Vertreter:innen verschiedener Bereiche innerhalb der GIZ und SKEW geführt.
Fallstudie für Thüringen im Rahmen der Evaluation des „European Dynamics for DEAR Efficiency“ Projektes
Das CEval wurde von Planète Publique (Paris) mit der Durchführung einer Fallstudie im Rahmen der Evaluation des EU-Projekts „European Dynamics for DEAR Efficiency“ beauftragt. Das Projekt diente dazu, Maßnahmen der entwicklungspolitischen Bildungsarbeit in vier europäischen Regionen (Thüringen/ Deutschland, Picardie/ Frankreich, Marches/ Italien und Luxembourg/ Belgien) zu fördern sowie den Austausch und das gegenseitige Lernen der teilnehmenden Akteure anzuregen. In Thüringen wurden entwicklungspolitische Bildungsmaßnahmen der schulischen und außerschulischen Bildung sowie verschiedene Vernetzungsaktivitäten auf regionaler wie auf europäischer Ebene gefördert. Für die Erstellung der Fallstudie hat das CEval qualitative Experteninterviews mit verschiedenen Stakeholdern des Projekts durchgeführt.
Meta-Evaluation World Vision Deutschland
Zum zweiten Mal hat World Vision Deutschland (WVD) das CEval beauftragt 29 Evaluationsberichte seiner langfristig angelegten Regional-Entwicklungsprogramme einer Meta-Evaluation zu unterziehen. Ziel dabei war es, die Berichte im Hinblick auf ihre Qualität und Aussagekraft zu den ihnen zugrundeliegenden Fragestellungen zu bewerten und Empfehlungen für das Design und die Umsetzung zukünftiger Evaluationsvorhaben zu entwickeln.
Methodisch konzentrierte sich das CEval dabei auf ein zweistufiges Auswertungsverfahren, das sich an die OECD/DAC Kriterien, Relevanz, Effektivität, Effizienz, Wirkung und Nachhaltigkeit, anlehnt. In einem ersten Schritt wurden die von WVD erarbeitete Kriterien Mitsprache und Inklusion, Transparenz, Angemessenheit der Methoden, Methodik, Triangulation, Befriedigung des Informationsbedarf, Identifizierung des Programmbeitrags sowie Ergebnisdarstellung anhand von verschiedenen Unterkriterien bewertet, die schließlich in einem zweiten Schritt aggregiert wurden.
Der Analyserahmen wurde bei der diesjährigen Meta-Evaluation um Nutzung und Nützlichkeit von Evaluationsergebnissen für die Projektarbeit erweitert. Um dies zu realisieren wurden leitfadengestützte Interviews mit WV Programmkoordinatoren auf internationaler Ebene durchgeführt. Basierend auf den erhaltenen Impulsen wurde ein Online Fragebogen für die Mitarbeiter von WV International entwickelt, sodass die Nützlichkeitsbewertung auf Grundlage einer internationalen, organisationsweiten Online-Befragung erfolgte.
Zusätzlich wurde die Transparenz innerhalb des herausgegebenen Wirkungsberichts bewertet. Die Bewertung erfolgte anhand der Kriterien Nachvollziehbarkeit/Verständlichkeit, Vorliegen der für die Zielgruppen relevante Informationen, methodische Vorgehensweise, Validität der genutzten Daten und Quellen, Objektivität sowie Veröffentlichung/Zugang.
Meta-Evaluierung der Projektevaluierungen aus den Jahren 2014-2015 für MISEREOR
Misereor unterstützt eine Vielzahl von Entwicklungsprojekten die durch Partnerorganisationen durchgeführt werden. Die Evaluation dieser Projekte, beauftragt durch die Partnerorganisationen oder durch Misereor leistet einen wichtigen Informations- und Lernbeitrag. Das CEval war zusammen mit .Evaluation.Consulting beauftragt, eine Metaevaluation der Evaluationen der Jahre 2014-2015 durchzuführen. Ziel war es, aussagekräftige Informationen zur Qualität der von Partnern beauftragten Evaluierungen zu erheben und so im Bereich der Qualitätssicherung mögliche Verbesserungen herbeizuführen.
Dabei richtete sich die Meta-Evaluierung im Wesentlichen nach den DAC-Standards und -Prinzipien. Methodisch wurde in einer ersten Stufe eine repräsentative Anzahl von Studien einem Basischeck unterzogen, um so Qualitätsaussagen aus der Breite der Studien ziehen zu können. Die Kriterien der Vollständigkeit und Angemessenheit der Dokumentation, Unabhängigkeit, Glaubwürdigkeit, Nützlichkeit wurden anhand von verschiedenen Unterkriterien bewertet und anschließend aggregiert.
In einem zweiten Schritt wurde ein Teil der Studien, die eine besondere Lernfunktion erfüllen, einer intensiven Analyse von diesen und weiteren Kriterien unterzogen. Ausgewertet wurden hauptsächlich die Evaluierungsberichte aber auch dazugehörige Dokumente wie Terms of Reference und generelle Dokumente von Misereor zum Thema. Darüber hinaus wurden zur Beantwortung bestimmter Untersuchungsfragen auch vereinzelt Interviews durchgeführt. In Zusammenarbeit mit .Evaluation.Consulting übernahm das CEval die Entwicklung und Konzeption der Analyseraster und war insbesondere in der Datenanalyse und -auswertung involviert.
Begleitung und Beratung Wirkungsmessung – Baseline Update Länderprogramm Bangladesch
Das Länderprogramm Bangladesch 2013-1016 von HEKS/EPER hatte zum Ziel, die soziale Inklusion von marginalisierten und entrechteten Minderheiten im Nordwesten Bangladeschs zu fördern. Die unterschiedlichen Interventionen hatten vor allem urbane und rurale Dalit und Flachland-Adibashi Gemeinden zur Zielgruppe, die unter komplexen Formen von Diskriminierung leiden. Der Ausschluss der beiden Minderheiten ist ein entscheidender Grund für Konflikte zwischen Minderheiten und der Mainstream-Gesellschaft. Mit einem Menschenrechtsansatz und einem Value-Chain Ansatz wollte HEKS die soziale Inklusion der beiden Gruppen fördern.
HEKS wollte die Wirkungen aus der letzten Projektphase messen und gleichzeitig valide Baselinedaten für die kommende Programmphase erheben. Das CEval stand HEKS dabei unterstützend zur Seite. Die Wirkung des Programms sollte mit Hilfe von Haushaltsbefragungen und der qualitativen Methode der contribution analysis erfasst werden. CEval unterstützte HEKS dabei hauptsächlich bei der Vorbereitung für die quantitative Datenerhebung und bei der quantitativen Datenauswertung. Das CEval bereitete die Sampling Strategie vor, half bei der Entwicklung der Erhebungsinstrumente und bei der statistischen Auswertung der Daten. Bei letzterem galt es insbesondere die zuvor erhobenen Daten mit den neu erhobenen Daten so zu kombinieren, um valide Schlüsse aus der statistischen Analyse ziehen zu können.
