Energising Development (EnDev) Herdstudie in Äthiopien
Das GIZ-Projekt „Energising Development“ (EnDev) ist eine gemeinsame Initiative der Regierungen Australiens, Deutschlands, der Niederlande, Norwegens und des Vereinten Königreichs. Gegenstand der Studie war das Energy Coordination Office (ECO) in Äthiopien, ein Teilprojekt von EnDev. ECO (oder EnDev Ethiopia) hat zum Ziel, einen kommerziellen Sektor und nachhaltigen Markt für energieeffiziente Kochherde in Äthiopien aufzubauen. Dabei fokussiert sich der Projektansatz sowohl auf die Stärkung der Angebotsseite durch die Verbesserung der betriebswirtschaftlichen und technischen Fähigkeiten von Herdproduzenten, als auch auf die Stimulation der Nachfrage seitens der Haushalte in Äthiopien.
Im Rahmen einer umfangreichen Herdstudie wurde die Zielerreichung des ECO-Projektes in drei Projektregionen untersucht. Die Studie verfolgte somit folgende Ziele: die Nachhaltigkeit von ECOs Interventionen in drei Projektregionen unter Anwendung der EnDev-internen Nachhaltigkeitskriterien und anhand des HERA-Nachhaltigkeitsansatzes (HERA & Poverty-Oriented Basic Energy Services) zu analysieren und bewerten, sowie Empfehlungen für die zukünftige Steuerung der EnDev-Projekte anhand der Ergebnisse zu generieren.
Ergänzend zu einer Dokumentenanalyse von relevanten Projekt- und Sektorpapieren wurden vor Ort standardisierte und qualitative Daten zur Datentriangulation erhoben. Das CEval unterstützte mit seiner Methodenexpertise in Datenerhebung und -auswertung die Durchführung der Studie.
Meta-Evaluation von 34 Evaluationsberichten zu den Regional-Entwicklungsprogrammen von World Vision Deutschland (2014)
World Vision Deutschland hatte das CEval beauftragt 34 Evaluationsberichte seiner langfristig angelegten Regional-Entwicklungsprogramme einer Meta-Evaluation zu unterziehen. Ziel war es dabei, die Berichte im Hinblick auf ihre Qualität und Aussagekraft zu den ihnen zugrundeliegenden Fragestellungen zu bewerten und Empfehlungen für das Design und die Umsetzung zukünftiger Evaluationsvorhaben zu entwickeln.
Methodisch konzentrierte sich das CEval dabei auf ein zweistufiges Auswertungsverfahren, das sich an die Evaluationskriterien Relevanz, Effektivität, Effizienz, Wirkung und Nachhaltigkeit des OECD/DAC anlehnte. In einem ersten Schritt wurden die von WVD erarbeitete Kriterien Mitsprache und Inklusion, Transparenz, Angemessenheit der Methoden, Methodik, Triangulation, sowie Identifizierung des Programmbeitrags anhand von verschiedenen Unterkriterien bewertet, die schließlich in einem zweiten Schritt aggregiert wurden.
Darüber hinaus unterstützte das CEval WVD bei der Entwicklung seines Wirkungsberichts in Form von kritischer Kommentierung sowie Beratung zu methodischen Aspekten.
Evaluation des Deutsch-Ägyptischen Forschungsfonds (GERF)
Der Projektträger im Deutschen Luft- und Raumfahrtzentrum (DLR) setzt im Auftrag des Bundesministeriums für Bildung und Forschung (BMBF) die Programmaktivitäten des Deutsch-Ägyptischen Forschungsfonds (GERF) um. Die zu evaluierenden Programmaktivitäten umfassen zwei Förderrunden (GERF I: 2009-2011, GERF II: 2011-2013/14), in deren Rahmen deutsch-ägyptische Forschungsvorhaben in den Bereichen Biotechnologie, Energieeffizienz und erneuerbare Energien, Wasserentsalzung, Gesundheit sowie Management natürlicher Ressourcen finanziell unterstützt wurden.
Das CEval war sowohl mit der Ex-post- (bzgl. GERF I) als auch mit der Zwischenevaluation (bzgl. GERF II) beauftragt worden. Dementsprechend galt es zum einen die durch GERF I erreichten Ziele und nachgelagerten Wirkungen sowie deren Nachhaltigkeit zu bewerten und zum anderen den Umsetzungsprozess des noch laufenden GERF II Programms hinsichtlich dessen Design und Effizienz zu untersuchen und auf Grundlage der Untersuchungsergebnisse Empfehlungen für die Fortführung von GERF II sowie die Konzeption zukünftiger Förderzyklen auszuarbeiten.
Externe Evaluation von vier Projekten im Bereich Bewusstseinsbildung und Erstellung eines Syntheseberichts
Als internationale christliche Entwicklungsorganisation hat sich die Christoffel Blindenmission (CBM) die Verbesserung der Menschenrechtssituation und die Inklusion von Menschen mit Behinderungen zum Ziel gesetzt. Dabei kommt der Bewusstseinsbildung als Komponente zahlreicher Entwicklungsprojekte eine wichtige Rolle zu. CBM Deutschland beauftragte das CEval mit der Evaluation von vier Projekten und der Erstellung eines Syntheseberichts, um mehr über die Implementierung von Bewusstseinsbildungsaktivitäten zu lernen, ihren Beitrag zu CBMs übergeordneten Zielen besser zu verstehen und nachzuvollziehen wie projekt-und länderspezifische Faktoren unterschiedliche Wirkungen produzieren.
Mit Kofinanzierung durch die Europäische Union oder das Bundesministerium für wirtschaftliche Entwicklung und Zusammenarbeit implementiert CBM Deutschland zwei Projekte in den Palästinensischen Gebieten (Gaza-Stadt und Gaza-Streifen), die an den Bedürfnisse von Menschen mit Hörbehinderung ansetzen, ein Projekt in Indien um die augenärztliche Versorgung im ländlichen Raum und die Rehabilitierung von Menschen mit Sehbehinderung zu verbessern und ein Projekt in Swasiland, dass sich für die Stärkung der Rechte von Menschen mit Behinderung und deren Inklusion einsetzt. Diese sehr unterschiedlichen Projekte erlaubten es die Thematik Bewusstseinsbildung von verschiedenen Perspektiven zu untersuchen und somit zu einem besseren Verständnis der verschiedenen Ansätze, zugrundeliegenden Wirkungsketten und (erwarteten) Wirkungen beizutragen. Während die Projekte in Gaza-Stadt und Indien einer Zwischenevaluation unterzogen wurden, wurde für die Projekte im Gaza-Streifen und in Swasiland eine Abschlussevaluation durchgeführt.Entwicklung eines Monitoring- und Evaluierungsrahmens für das Plan Projekt „Adolescent Boys: Champions of Change on Gender Equality and Girls‘ Rights“
Plan International ist eine nicht-religiöse und nicht-politische Nichtregierungsorganisation welche sich für die dauerhafte Verbesserung der Lebensumstände von Kindern in Afrika, Asien und Lateinamerika einsetzt.
Um die Gleichberechtigung der Geschlechter zu fördern und Jungen und Männer in diese Arbeit zu involvieren, starteten Plan International Deutschland und Plan International Finnland zusammen mit vier Länderbüros aus Lateinamerika das Pilotprojekt „Adolescent Boys: Champions of Change on Gender Equality and Girls Rights“. Das Projekt bildete männliche Jugendliche zu Tutoren für Geschlechtergleichstellung aus und wurde in fünf Ländern umgesetzt: El Salvador, Guatemala, Honduras, Dominikanische Republik und Deutschland.
Das Centrum für Evaluation (CEval) evaluierte das Pilotprojekt mit Hilfe quantitativer und qualitativer Methoden, sammelte gemachte Erfahrungen und entwickelte einen Monitoring- und Evaluationsrahmen für die zukünftige Implementierung und Ausweitung des Projekts.
East4South – Development Awareness from the Roots
Gegenstand der Evaluation war das von der EU finanzierte Projekt der Deutschen Welle-Akademie (DWA) „East4South – Development Awareness from the Roots“. Das Projekt zielte darauf ab, Nachwuchsjournalisten aus den osteuropäischen EU12-Staaten dabei zu unterstützen, qualitativ hochwertige Reportagen über entwicklungspolitische Themen in den Medien ihrer Heimatländer zu veröffentlichen. Langfristig ist mit dem Projekt beabsichtigt, EU12-Bürger für entwicklungspolitische Themen zu sensibilisieren und in den EU12-Ländern eine positive Einstellung gegenüber der EU-Entwicklungspolitik zu erzeugen. Im Rahmen dieses Vorhabens wurden insgesamt 60 Nachwuchsjournalisten aus Osteuropa und Afrika in interkulturellem Journalismus weitergebildet und miteinander vernetzt. Bei einem Aufenthalt in Afrika produzierten afrikanische und osteuropäische Journalisten anschließend gemeinsam journalistische Beiträge über entwicklungspolitische Themen, mit dem Ziel diese in den Medien der EU12 Ländern zu veröffentlichen.
Ziel der summativen ex-post Evaluation war die Analyse und Bewertung der Wirkungen der Projektmaßnahmen und der Qualität der Projektdurchführung. Hierzu verwendete die CEval GmbH einen Multimethodenansatz mit u.a. qualitativen Leifadeninterviews mit Stakeholdern, einer Analyse von Projektdokumenten, Sekundäranalysen von Evaluationsfragebögen und Kurzberichten der Teilnehmer sowie einer standardisierten Online-Befragung aller Teilnehmer.Talking about migrants‘ lives in Russia
Gegenstand der Evaluation war das von der Deutschen Welle-Akademie und der russischen Foundation for Independent Radio Broadcasting durchgeführte EU-Projekt „Talking about migrants lives in Russia“. Ziel des Projekts war es, die Inklusion von Migranten in der russischen Gesellschaft zu fördern. Zur Erreichung dieses Zieles wurden russische Radiojournalisten und Vertreter zivilgesellschaftlicher Organisationen (VZOs) aus dem Bereich Migration in Workshops fortgebildet und auf lokaler Ebene miteinander vernetzt. Durch diese Workshops sollte zum einen die Professionalität der Radiojournalisten und zum anderen die Medienkompetenz der VZOs erhöht werden. Mithilfe von Podiumsdiskussionen, einer Internetplattform und eines journalistischen Wettbewerbs wurde zudem angestrebt, die Kooperation zwischen Radiojournalisten und VZOs dauerhaft zu intensivieren. Mittelfristig wurde mit all diesen Maßnahmen beabsichtigt, die Quantität und Qualität journalistischer Beiträge zu migrationsrelevanten Themen zu erhöhen.
Der Fokus der summativen ex-post-Evaluation lag auf der Analyse und Bewertung der kurz- und mittelfristigen Wirkungen der Workshops. Zu diesem Zweck wurde zudem näher untersucht, in welcher Weise die Projektdurchführung, die Internetplattform und die Podiumsdiskussionen die beabsichtigten Wirkungen beeinflusst haben.
Im Rahmen der Datenauswertung und Evaluation verwendete die CEval GmbH einen Multimethodenansatz mit u.a. einer Analyse von Projektdokumenten, Sekundäranalysen von Evaluationsfragebögen der Teilnehmer und qualitativen Leitfadeninterviews. Zudem wurden eine standardisierte russischsprachige Online-Befragung aller Teilnehmer sowie eine russischsprachige Emailbefragung mit dem russischen Projektmanager durchgeführt.Strengthening evaluation capacities within government and civil society in Uganda (ECD Uganda): Development of a blended-learning Master of Evaluation (2012-2015)
In den letzten Jahren erfährt Evaluation als wissenschaftliches Verfahren zur Beschreibung und Bewertung von Interventionen weltweit einen Bedeutungszuwachs. Auch in Uganda steigt der Bedarf an qualifizierten Fachleuten im Bereich Evaluation an. Allerdings kann dieser Bedarf durch bisher aufgelegten Trainings- und Evaluationsprogramm nicht ausreichend gedeckt werden. Aus diesem Grund initiierte das BMZ gemeinsam mit dem CEval und der GIZ ein Programm zur Entwicklung von Evaluationskapazitäten(ECD) in Uganda.
Die wichtigste Komponente dieses Programmes ist die Entwicklung und Durchführung eines Masterstudiengangs in Evaluation im Blended-learning Format an der Uganda Technology and Management University (UTAMU). Blended-learning stellt ein innovatives Konzept dar, das sich weltweit steigender Popularität erfreut und an der UTAMU als Standardlehrverfahren eingeführt wurde. Dabei vereint Blended-learning didaktisch kohärent traditionelle Präsenzveranstaltungen mit modernen Formen des eLearnings. Ein Vorteil dieses Konzepts ist, dass durch dieses Konzept nicht nur Ugandische Studenten sondern auch Studenten aller englischsprachigen afrikanischen Länder angesprochen wurden. Der Master of Evaluation der Saarland Universität sowie der HTW des Saarlandes dient als Vorlage für den ugandischen Master, der im Herbst 2015 eingeführt wurde. Die Inhalte des Masters wurden in enger Kooperation zwischen der CEval GmbH, den Dozenten des deutschen Masters und ugandischen Bezugspersonen an der Makarere Universität abgestimmt und an den ugandischen Kontext angepasst. Der ugandische Master of Monitoring and Evaluation umfasst insgesamt 15 Module, von denen sieben dem Basisprogramm zur Evaluation der saarländischen Hochschule entsprechen. Abgedeckt wurden dadurch alle relevanten Themen zum Erwerb profunder Evaluationskompetenzen. UTAMU hat diese durch weiterführende Module zum Projektmanagement, zum Monitoring und zur Existenzgründung von Consultings ergänzt. Die Module setzen sich im Groben aus Web based trainings, eTutoring und Präsenzveranstaltungen zusammen, wobei die Lehrkonzepte ebenfalls gemeinsam mit allen Akteuren entwickelt werden. Die Verantwortung für die technische Umsetzung der eLearning-Komponente oblag der GIZ. Zwei Module des Masters of Evaluation wurden in einer Pilotphase gemeinsam mit UTAMU getestet. In dieser Pilotphase wurden sowohl das eTutoring als auch die Präsenzphasen im Sinne des Tandemprinzips von Dozenten der UTAMU und der Universität des Saarlandes/HTW betreut. Das „Hosting“ des Online-Studiengangs wurde von der GIZ-Plattform gc21 übernommen. Anschließend wurden die sieben Module in den bereits bestehenden Master der UTAMU integriert und der neue Studiengang wurde den entsprechenden Gremien in Uganda vorgelegt. Mittlerweile ist der Studiengang in Uganda aggregiert und wurde im September 2015 testweise eingeführt.Stärkung von Evaluierungskapazitäten in Zentralamerika (FOCEVAL)
Das Vorhaben „Stärkung von Evaluierungskapazitäten in Zentralamerika (FOCEVAL)“ der Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH zielte darauf ab, die Rolle der Evaluation bei der politischen Entscheidungsfindung und der Steuerung von Politikmaßnahmen in Costa Rica und ausgewählten Ländern Zentralamerikas zu stärken. Die Maßnahme war als Regionalvorhaben konzipiert, dessen politische Trägerschaft beim costaricanischen Ministerium für nationale Planung und Wirtschaftspolitik (MIDEPLAN) liegt.
Aufgabe der CEval GmbH war es im Rahmen des ECD-Vorhaben, vor Ort eine Reihe von Fortbildungen zum Thema Monitoring und Evaluation (M&E) auf verschiedenen Anspruchsniveaus für die Partnerstrukturen zu realisieren, wobei die Inhalte der bereits erprobten und mehrfach durchgeführten Kurse dabei die unterschiedlichen Bedarfe der Zielgruppen widerspiegelten. Darüber hinaus bot die CEval GmbH eine kontinuierliche wissenschaftlichen Begleitung für das Regionalvorhaben an, welche eine permanente Anbindung an die aktuelle internationale Evaluationsdiskussion sicherstellte und die Verbindung zu wissenschaftlichen Organisationen und Netzwerken aufrechterhielt. Sie umfasste eine Reihe von Beratungsleistungen, insbesondere bei der Strategie- und Konzeptentwicklung, die auf den neuesten wissenschaftlichen Erkenntnissen der Monitoring- und Evaluationsforschung basierte.
Wirkungsevaluierung der Aktivitäten der HSS im Bereich „Civic Education“ in Kenia
Die Hanns-Seidel-Stiftung (HSS) ist seit mehr als 35 Jahren in der Entwicklungszusammenarbeit aktiv (Stand 2013) und arbeitet seit 1987 im Rahmen ihres Regionalprojekts Ostafrika in Kenia. 2013 sollten erstmals die Aktivitäten im Bereich Civic Education in Kenia einer Wirkungsevaluierung unterzogen werden. Diese Aktivitäten umfassten in erster Linie Weiterbildungsseminare zur politischen Bildung.
Primäres Ziel der Wirkungsevaluierung war es, einen empirisch und methodisch fundierten Nachweis über die Wirksamkeit der Weiterbildungsseminare der HSS in Kenia zu liefern, sowie die zu erwartende Nachhaltigkeit der erzeugten Wirkungen abzuschätzen. Dabei sollten auch die Effizienz der Maßnahmenumsetzung sowie deren Relevanz für die Partner und Zielgruppen bewertet werden.
Zur Beantwortung der Evaluationsfragen war ein aufwändiges quasi-experimentelles Design gewählt worden, das sich durch mehrere Messzeitpunkte und die Einbeziehung von zwei Vergleichsgruppen auszeichnet. Durch die verschiedenen Messzeitpunkte konnten direkte Effekte der Maßnahmen sowie die Veränderung dieser Effekte über einen längeren Zeitraum hinweg beobachtet werden (follow-up). Der Vergleichsgruppenansatz ermöglichte, externe Effekte auf die Zielgruppe auf lokaler und nationaler Ebene zu kontrollieren. Die Datenerhebung erfolgte durch ein Team Studierender der Universität Nairobi, die speziell für diese Aufgabe durch das CEval ausgebildet wurden.