Evaluation des Projektes „Nachhaltige Kommunalentwicklung durch Partnerschaftsprojekte (Nakopa)“ und des „Förderprogramms für Kommunalen Klimaschutz und Klimaanpassungsprojekte (FKKP)“
Die Servicestelle Kommunen in der Einen Welt (SKEW) unter dem Dach von Engagement Global ist das Kompetenzzentrum der kommunalen Entwicklungspolitik in Deutschland. Seit 2001 bietet sie eine Dialogplattform zum kommunalen Erfahrungsaustausch und fördert kommunale Akteure in ihrem entwicklungsbezogenen Engagement durch Qualifizierungs-, Informations- und Beratungsangebote, die Umsetzung von Modellprojekten sowie Hilfestellungen für finanzielle Förderung.
Zum Leistungsspektrum der SKEW zählen unter anderem die Vorhaben „Nachhaltige Kommunalentwicklung durch Partnerschaftsprojekte (Nakopa)“ und das „Förderprogramm für kommunale Klimaschutz- und Klimaanpassungsprojekte (FKKP)“. Während durch Nakopa bestehende und neue Partnerschaften zwischen deutschen Kommunen und Kommunen des globalen Südens zur Planung und Unterstützung von gemeinsamen Projekten in ausgewählten entwicklungspolitisch relevanten Themenfeldern gefördert werden, zielt die Förderung durch FKKP ausschließlich auf die Förderung von Maßnahmen zum Klimaschutz und zur Anpassung an den Klimawandel.
Nach einem ersten dreijährigen Projektzyklus sollten diese beiden Vorhaben nun sowohl hinsichtlich prozessualer Aspekte der Projektadministration als auch herbeigeführter Wirkungen der geförderten Projekte sowie der Förderangebote Nakopa und FKKP evaluiert werden. Zur Beantwortung der an den OECD-DAC Evaluationskriterien ausgerichteten Leitfragen wurde ein auf dokumentarischen und empirischen Daten beruhender kontributionsanalytischer Untersuchungsansatz gewählt. Grundlage der Untersuchungen waren entsprechend sowohl Monitoringdaten und Projektdokumentation als auch eigens, mittels leitfadengestützter Intensivinterviews sowie teilstandardisierter Onlinebefragungen der teilnehmenden Kommunen, erhobene Daten.
Weiterentwicklung des Monitoring und Berichtssystems zum Aktionsplan „Inklusion von Menschen mit Behinderungen“ in der deutschen entwicklungspolitischen Zusammenarbeit
Das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) hat im Februar 2013 zur Umsetzung der Verpflichtungen, die sich aus Artikel 32 der Konvention über die Rechte von Menschen mit Behinderungen (MmB) der Vereinten Nationen ergeben, den Aktionsplan zur Inklusion von MmB veröffentlicht. Dieser gibt die zentralen Leitlinien und strategischen Ziele der Bundesrepublik Deutschland für die inklusive Gestaltung ihrer entwicklungspolitischen Zusammenarbeit vor.
Zur Fortschrittsbewertung und zur Steuerung der im Rahmen des Aktionsplans durchgeführten Maßnahmen bedarf es eines adäquaten Monitoringsystems und Berichtswesens für dessen Konzeption methodisches Fachwissen notwendig ist. Dementsprechend wurde das Centrum für Evaluation (CEval) beauftragt das Sektorvorhaben „Inklusion von Menschen mit Behinderungen“ der deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) und das Referat 300 des BMZ bei der Erstellung eines Monitoring – und Analyserahmens zu unterstützen.
Projektevaluierung und Prüfung einer Folgemaßnahme des GIZ Sektorvorhabens Inklusion von Menschen mit Behinderungen
Im Rahmen der Projektevaluierung wurde geprüft inwiefern das Sektorvorhaben Inklusion von Menschen mit Behinderungen der Deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) entwicklungspolitische Wirkungen entfalten konnte.
In Anlehnung an die OECD-DAC Kriterien wurden Experteninterviews und Fokusgruppendiskussionen geführt sowie M&E-Daten des Sektorvorhabens und weiterführende Dokumente systematisch ausgewertet. Damit wurde ein Beitrag zur Rechenschaftslegung gegenüber dem Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) geleistet, durch die Veröffentlichung eines Kurzberichts den Anforderungen der International Aid Transparency Initiative (IATI) nachgekommen sowie die Grundlage für die Planung einer Folgemaßnahme gelegt.
Evaluation der Initiative „Schulen & Partner der Zukunft“ (PASCH)
Die im Jahr 2008 ins Leben gerufene Initiative „Schulen & Partner der Zukunft“ (PASCH) gehört zu den zentralen Initiativen der Auswärtigen Kultur- und Bildungspolitik der aktuellen Legislaturperiode. PASCH ist ein weltweites Netzwerk von derzeit ca. 1800 Partnerschulen mit hoher Deutschlandbindung, an denen verstärkt Deutsch unterrichtet wird. Die Initiative bündelt breit gefächerte Maßnahmen, die dazu beitragen sollen, lebendige, langfristige Bindungen zu Deutschland aufzubauen und die Schulen, ihre Lehrkräfte sowie Schüler:innen zum Austausch und zur Zusammenarbeit anzuregen. PASCH wird vom Auswärtigen Amt koordiniert und gemeinsam mit der Zentralstelle für das Auslandsschulwesen (ZfA), dem Goethe-Institut (GI), dem Pädagogischen Austauschdienst (PAD), der Kultusministerkonferenz (KMK) und dem Deutschen Akademischen Austauschdienst (DAAD) umgesetzt.
Im Rahmen der Evaluation wurde PASCH hinsichtlich Relevanz, Effizienz, Effektivität, Wirksamkeit (Impact) und Nachhaltigkeit überprüft. Dabei wurde auch untersucht, inwiefern sich die bestehenden Angebote, Prozesse und Strukturen zukünftig zur Zielerreichung eignen. Auf Basis der Ergebnisse wurden Empfehlungen zur Optimierung der Maßnahmen, Prozesse und Strukturen und zur Schaffung von Synergien abgeleitet.
Die Evaluation fand in zwei Phasen statt: In der ersten Phase wurden die Dokumentenanalysen sowie persönliche und telefonische leitfadengestützte Interviews mit Stakeholdern in Deutschland und ausgewählten Partnerländern (Polen, Türkei, China) geführt. Schwerpunkt der zweiten Phase war eine breit angelegte quantitative Onlinebefragung mit den PASCH-Zielgruppen in insgesamt zehn Partnerländern.
Evaluation des Projekts „Media in Libya: Stability through reconciliation“
Evaluationsgegenstand war das Projekt „Media in Libya: Stability through reconciliation“ (MLSR) der DW Akademie. MLSR war ein Nachfolgeprojekt von „Media in Libya: Stability through Structure“. Das übergeordnete Ziel von MLSR lautete:“Enabling a process of public discourse and eventually reconciliation across a fragmented Libyan society & prerequisites for development of democratic reform and constitutional process in the country.“ by „promoting [the] right to access to information to the people of Libya and [the] freedom of expression in Libya“. Zum Erreichen dieser Zielsetzung setzte die DW Akademie auf vier Aktivitäten-Cluster: (1) Unterstützung (öffentlicher) Institutionen in Libyen im Bereich „media governance“, (2) Entwicklung eines Mediennetzwerks in Libyen, (3) Training freier Journalisten aus allen Regionen Libyens mit einem besonderen Fokus auf ethnische Minderheiten und Geschlechterfragen, (4) Bereitstellung von Fördermöglichkeiten für Libysche Medienprojekte.
Die Evaluation von MLSR war als Wirkungsevaluation angelegt. Es ist daher erforderlich, Daten zum Zeitpunkt des Maßnahmenbeginns (Baseline) zu erheben, eine Zwischenevaluation erfolgte in der ersten Jahreshälfte 2019. Durch Vergleich der Befunde aus Baselinestudie und Zwischenevaluation konnten erste Effekte von MLSR identifiziert und bewertet werden. Darüber hinaus konnten erste Empfehlungen zur Projektoptimierung (z. B. Identifikation [weniger] erfolgreicher Projektstrategien, alternative Vorgehensweisen) gegeben werden. Die dritte Evaluationsphase (Schlussevaluation) startete zum Projektende. Hauptziel der Schlussevaluation war die Bewertung der Zielerreichung von MLSR. Durch die drei Erhebungszeitpunkte konnte eine längsschnittliche Analyse der Mechanismen, Prozesse und Effekte von MLSR realisiert werden.
Methodisch wurde vor dem Hintergrund der sehr volatilen und schwierigen Rahmenbedingungen in Libyen ein robuster Mixed-Method-Ansatz verfolgt: Sekundäranalyse vorhandener Dokumente/Daten, Inhaltsanalyse kurzer schriftlicher und tiefgehender mündlicher Befragungen sowie statistische Analyse quantitativer Daten aus einer standardisierten Fragebogenerhebung.
Evaluation der Fördertätigkeit der Stiftung Umwelt und Entwicklung Nordrhein-Westfalen
Seit ihrer Gründung im Jahr 2001 fördert die Stiftung Umwelt und Entwicklung Nordrhein-Westfalen die vornehmlich ehrenamtliche umwelt- und entwicklungspolitische Arbeit zivilgesellschaftlicher Gruppen. Ziel der Stiftungsarbeit ist es, die umwelt- und entwicklungspolitische Arbeit in Nordrhein-Westfalen (NRW) zu unterstützen, um diese Arbeit im Bewusstsein und im praktischen Engagement der Bevölkerung dauerhaft und auf der Höhe der Zeit zu etablieren.
Hierfür wurden in NRW bis zum Evaluationszeitpunkt etwa 1.100 Vorhaben gemeinnütziger Träger mit einem Volumen von 47,5 Mio. Euro unterstützt. Hinzu kommen Eigenprojekte der Stiftung, die durch diese operativen Tätigkeiten und ihre Öffentlichkeitsarbeit ebenfalls die Umsetzung der Agenda 21 der UN-Konferenz für Umwelt und Entwicklung von Rio de Janeiro im Jahr 1994 und die sich daran anschließenden Prozesse voranbringen möchte. Im Rahmen der Evaluation wurden die Ergebnisse und Wirkungen der Förderaktivitäten der Stiftung erfasst und bewertet und Erkenntnisse über mögliche hemmende und/oder fördernde Faktoren in der Förderarbeit der Stiftung in Bezug auf die Stiftungsziele generiert.
Die Datengewinnung basierte auf einem mixed-methods-Ansatz, d.h. es erfolgte eine vertiefende Analyse bereits vorhandener Dokumente und Daten der Stiftung und von geförderten Projekten. Zudem wurden im Rahmen von qualitativen Erhebungen (leitfadengestützte Einzel- und Gruppeninterviews) und einer quantitativen Befragung der laufenden und abgeschlossenen Projekte Primärdaten zur Zielerreichung und Wirksamkeit der Fördertätigkeit der Stiftung erhoben und ausgewertet. Auf Basis dieser Erkenntnisse wurden schließlich Empfehlungen zu Schwerpunktsetzungen der Stiftung hinsichtlich Inhalten, Akteuren, Zielgruppen und die angewandten Methoden und Formate abgeleitet.
Untersuchung der Effektivität und des Impact der Extractive Industries Transparency Initiative (EITI)
Die Extractive Industries Transparency Initiative (EITI) ist ein globaler Standard zur Förderung eines offenen und rechenschaftspflichtigen Managements natürlicher Ressourcen. Der Standard soll Regierungs- und Unternehmenssysteme stärken, die öffentliche Debatte informieren und Vertrauen fördern. In jedem implementierenden Land wird die Initiative durch einen Zusammenschluss von Regierungen, Unternehmen und Organisationen der Zivilgesellschaft unterstützt.
Die GIZ hatte die Evaluation der Initiative in Auftrag gegeben und dabei die folgenden Ziele definiert:
- Die Bewertung der Outcomes, der Effektivität und des Impacts (positiv und negativ, intendiert und nicht intendiert) von EITI vor dem Hintergrund des EITI MDTF Results Framework, und die nähere Betrachtung der Verbindungen zwischen Transparenz, Rechenschaftspflicht und wenn möglich weitergehenden Entwicklungszielen.
- Die Bewertung der durch EITI entwickelten Theorie des Wandels und des EITI MDTF Results Framework mit dem Ziel, ein verbessertes generisches EITI Zielsystem zu entwickeln und ausgewählte Multi Stakeholder Groups bei der Entwicklung spezifischer nationaler EITI Zielsysteme und der Ableitung wirkungsorientierter Indikatoren zu assistieren.
Diese Ziele und die Komplexität des EITI Kontextes machten ein maßgeschneidertes Design notwendig. Der methodische Ansatz der Evaluation umfasste deswegen:
- Makro-quantitative statistische Analysen
- Tiefgehende Fallstudien
- Partizipative Ansätze in der Operationalisierung, Datenerhebung und der Analyse der Ergebnisse.
Unter der Koordination von LBN Strategies und in Zusammenarbeit mit weiteren Beratern übernahm das Centrum für Evaluation die Führung in der Studienkomponente „Ansätze und Methodologie“.
Fallstudie für Thüringen im Rahmen der Evaluation des „European Dynamics for DEAR Efficiency“ Projektes
Das CEval wurde von Planète Publique (Paris) mit der Durchführung einer Fallstudie im Rahmen der Evaluation des EU-Projekts „European Dynamics for DEAR Efficiency“ beauftragt. Das Projekt diente dazu, Maßnahmen der entwicklungspolitischen Bildungsarbeit in vier europäischen Regionen (Thüringen/ Deutschland, Picardie/ Frankreich, Marches/ Italien und Luxembourg/ Belgien) zu fördern sowie den Austausch und das gegenseitige Lernen der teilnehmenden Akteure anzuregen. In Thüringen wurden entwicklungspolitische Bildungsmaßnahmen der schulischen und außerschulischen Bildung sowie verschiedene Vernetzungsaktivitäten auf regionaler wie auf europäischer Ebene gefördert. Für die Erstellung der Fallstudie hat das CEval qualitative Experteninterviews mit verschiedenen Stakeholdern des Projekts durchgeführt.
Meta-Evaluation World Vision Deutschland
Zum zweiten Mal hat World Vision Deutschland (WVD) das CEval beauftragt 29 Evaluationsberichte seiner langfristig angelegten Regional-Entwicklungsprogramme einer Meta-Evaluation zu unterziehen. Ziel dabei war es, die Berichte im Hinblick auf ihre Qualität und Aussagekraft zu den ihnen zugrundeliegenden Fragestellungen zu bewerten und Empfehlungen für das Design und die Umsetzung zukünftiger Evaluationsvorhaben zu entwickeln.
Methodisch konzentrierte sich das CEval dabei auf ein zweistufiges Auswertungsverfahren, das sich an die OECD/DAC Kriterien, Relevanz, Effektivität, Effizienz, Wirkung und Nachhaltigkeit, anlehnt. In einem ersten Schritt wurden die von WVD erarbeitete Kriterien Mitsprache und Inklusion, Transparenz, Angemessenheit der Methoden, Methodik, Triangulation, Befriedigung des Informationsbedarf, Identifizierung des Programmbeitrags sowie Ergebnisdarstellung anhand von verschiedenen Unterkriterien bewertet, die schließlich in einem zweiten Schritt aggregiert wurden.
Der Analyserahmen wurde bei der diesjährigen Meta-Evaluation um Nutzung und Nützlichkeit von Evaluationsergebnissen für die Projektarbeit erweitert. Um dies zu realisieren wurden leitfadengestützte Interviews mit WV Programmkoordinatoren auf internationaler Ebene durchgeführt. Basierend auf den erhaltenen Impulsen wurde ein Online Fragebogen für die Mitarbeiter von WV International entwickelt, sodass die Nützlichkeitsbewertung auf Grundlage einer internationalen, organisationsweiten Online-Befragung erfolgte.
Zusätzlich wurde die Transparenz innerhalb des herausgegebenen Wirkungsberichts bewertet. Die Bewertung erfolgte anhand der Kriterien Nachvollziehbarkeit/Verständlichkeit, Vorliegen der für die Zielgruppen relevante Informationen, methodische Vorgehensweise, Validität der genutzten Daten und Quellen, Objektivität sowie Veröffentlichung/Zugang.
Meta-Evaluierung der Projektevaluierungen aus den Jahren 2014-2015 für MISEREOR
Misereor unterstützt eine Vielzahl von Entwicklungsprojekten die durch Partnerorganisationen durchgeführt werden. Die Evaluation dieser Projekte, beauftragt durch die Partnerorganisationen oder durch Misereor leistet einen wichtigen Informations- und Lernbeitrag. Das CEval war zusammen mit .Evaluation.Consulting beauftragt, eine Metaevaluation der Evaluationen der Jahre 2014-2015 durchzuführen. Ziel war es, aussagekräftige Informationen zur Qualität der von Partnern beauftragten Evaluierungen zu erheben und so im Bereich der Qualitätssicherung mögliche Verbesserungen herbeizuführen.
Dabei richtete sich die Meta-Evaluierung im Wesentlichen nach den DAC-Standards und -Prinzipien. Methodisch wurde in einer ersten Stufe eine repräsentative Anzahl von Studien einem Basischeck unterzogen, um so Qualitätsaussagen aus der Breite der Studien ziehen zu können. Die Kriterien der Vollständigkeit und Angemessenheit der Dokumentation, Unabhängigkeit, Glaubwürdigkeit, Nützlichkeit wurden anhand von verschiedenen Unterkriterien bewertet und anschließend aggregiert.
In einem zweiten Schritt wurde ein Teil der Studien, die eine besondere Lernfunktion erfüllen, einer intensiven Analyse von diesen und weiteren Kriterien unterzogen. Ausgewertet wurden hauptsächlich die Evaluierungsberichte aber auch dazugehörige Dokumente wie Terms of Reference und generelle Dokumente von Misereor zum Thema. Darüber hinaus wurden zur Beantwortung bestimmter Untersuchungsfragen auch vereinzelt Interviews durchgeführt. In Zusammenarbeit mit .Evaluation.Consulting übernahm das CEval die Entwicklung und Konzeption der Analyseraster und war insbesondere in der Datenanalyse und -auswertung involviert.
