Weiterentwicklung des Monitoring und Berichtssystems zum Aktionsplan „Inklusion von Menschen mit Behinderungen“ in der deutschen entwicklungspolitischen Zusammenarbeit
Das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) hatte im Februar 2013 zur Umsetzung der Verpflichtungen, die sich aus Artikel 32 der Konvention über die Rechte von Menschen mit Behinderungen (MmB) der Vereinten Nationen ergeben, den Aktionsplan zur Inklusion von MmB veröffentlicht. Dieser gibt die zentralen Leitlinien und strategischen Ziele der Bundesrepublik Deutschland für die inklusive Gestaltung ihrer entwicklungspolitischen Zusammenarbeit vor.
Zur Fortschrittsbewertung und zur Steuerung der im Rahmen des Aktionsplans durchgeführten Maßnahmen bedurfte es eines adäquaten Monitoringsystems und Berichtswesen für dessen Konzeption methodisches Fachwissen notwendig war. Dementsprechend war das Centrum für Evaluation (CEval) beauftragt worden, das Sektorvorhaben „Inklusion von Menschen mit Behinderungen“ der deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) und das Referat 300 des BMZ bei der Erstellung eines Monitoring- und Analyserahmen zu unterstützen.
Unterstützung der Aufbereitung von möglichen methodischen Ansätzen zur Evaluierung mittel- und langfristiger Wirkungen der (Politik-) Beratung im spezifischen Kontext des CEPAL-Vorhabens
Die Gesellschaft für Internationale Zusammenarbeit (GIZ) ist im Juli 2014 mit der Durchführung eines zweijährigen TZ-Beratungsvorhabens „Strukturwandel für eine nachhaltige und inklusive Entwicklung“ mit der CEPAL (Wirtschaftskommission für Lateinamerika und die Karibik) beauftragt worden. Vor diesem Hintergrund arbeitet das Vorhaben aktuell mit einem Monitoring-System, welches eine Nachverfolgung der durchgeführten Aktivitäten/Beratungsdienstleistungen der CEPAL (inputs) und deren Nutzung (outputs) erlaubt. Eine Beobachtung der langfristigen Wirkungen findet bisher nur bedingt statt.
Die Hertie-School of Governance (HSoG) wurde mit der Aufbereitung von möglichen methodischen Ansätzen zur Evaluierung mittel- und langfristiger Wirkungen von (Politik-) Beratung im spezifischen Kontext des CEPAL-Vorhabens beauftragt. Da es für eine erfolgreiche Umsetzung des Beratungsprozesses neben Kenntnissen aus der Politikberatung umfassender Expertise in der Evaluationsforschung und -praxis bedarf, ist die HSoG an das Centrum für Evaluation (CEval) herangetreten um dieses als Konsortialpartner zu gewinnen. Der Beratungsprozess setzt sich dabei aus den folgenden drei Arbeitspaketen zusammen:- Grundlegende Aufbereitung theoretischer Ansätze zur Evaluierung von Politikberatung (unter Bezugnahme auf qualitative Methoden der empirischen Sozialforschung);
- Aufarbeitung von praktischen Erfahrungen aus der Politikberatung, wenn möglich in vergleichbaren Kontexten;
- Darstellung eines methodischen Ansatzes zur Messung von mittel- und langfristigen Wirkungen aufbauend auf den Erkenntnissen der ersten beiden Arbeitspakete für den spezifischen Kontext des Kooperationsprogramms mit der CEPAL. Das CEval war schwerpunktmäßig am dritten Arbeitspaket beteiligt und entwickelte einen methodischen Ansatz, welcher eine Kombination von vorhabenübergreifendem Impact- und programmspezifischem Outcome-M&E umfasst. Der Ansatz sieht dabei einen Methodenmix aus Dokumentenanalyse, standardisierten (Online)Befragungen und leitfadengestütztem Expertenpanel vor.
Verbleibstudie: Evaluation der Begabtenförderung der Heinrich-Böll-Stiftung e.V.
Zu den zentralen Aufgaben der Heinrich-Böll-Stiftung (hbs) gehört die Studien- und Promotionsförderung. Seit dem Beginn der Studien- und Promotionsförderung im Jahre 1990 wurden rund 3000 Studierende und Promovierende gefördert. Das Ziel der Nachwuchsförderung ist es, die ausgewählten Persönlichkeiten sowohl materiell wie ideell zu unterstützen und damit einen Beitrag zur Förderung der demokratischen Kultur sowie grüner Ideen und Werte zu leisten.
Das CEval führte zur Evaluation der Langzeitwirkung der Begabtenförderung eine Verbleibstudie aller ehemaligen Stipendiatinnen und Stipendiaten der hbs durch. Die Förderwirkungen der hbs in Studium und Promotion wurden dabei erstmals dokumentiert und fach-, zielgruppen- und diversityspezifisch analysiert. Aufgabe war es, die Langzeitwirkungen der Begabtenförderung zu analysieren und die Befunde mit den Ergebnissen anderer Absolventen- und Verbleibstudien zu vergleichen.
Zur Datengewinnung folgte das CEval einem mixed-methods Ansatz. Dabei wurde eine vertiefende Analyse bereits vorhandener Daten und Dokumente vorgenommen und es wurden eigene Erhebungen in Form einer standardisierten Onlinebefragung der Alumni und qualitativen Leitfadeninterviews mit Alumni und Zuständigen der hbs durchgeführt.
Wirkungsevaluierung des Nachwuchsförderprogramms „Agentes de Cambio“ in Zentralamerika sowie der Dominikanischen Republik
Die Friedrich-Ebert-Stiftung (FES) hatte das Centrum für Evaluation mit der Evaluierung des Nachwuchsförderprogramm „Agentes de Cambio“ beauftragt, welches ein zentraler Bestandteil der Stiftungsarbeit ist und sich über die Länder Costa Rica, Dominikanische Republik, Guatemala, Honduras, El Salvador, Nicaragua und Panama erstreckt. Ziel der Evaluierung war es, die Wirkungen des Nachwuchsförderprogramms in der Summe zu verstehen und gleichzeitig mögliche länderspezifische Besonderheiten herauszuarbeiten und damit die Basis für Empfehlungen zur Weiterentwicklung des Curriculums, zur Anpassung von Projektzielen und -strategien sowie zur Verbesserung von Steuerungsmechanismen zu legen. Darüber hinaus sollte der FES ein praxistaugliches Datenerhebungsinstrument zum Programmmonitoring und zur Evaluierung in den teilnehmenden Ländern an die Hand gegeben werden.
Bei der Evaluierung kombinierte das CEval in einem quasi-experimentellen Untersuchungsdesign teilstandardisierte Online-Erhebungen mit Fokusgruppendiskussionen und leitfadengestützte Experteninterviews.
Aufbau eines wirkungsorientierten M&E-Systems in Deutschland für die Kooperationsplattform Lateinamerika Nord (KOPLAN)
Innovative Umwelt- und Klimatechnologien werden bislang nur in geringem Maße in Zentralamerika und Mexiko genutzt. Eine Ursache hierfür ist die mangelhafte Verbreitung moderner Umwelttechnologien in der Region. Hier setzt KOPLAN („Kooperationsplattform Lateinamerika Nord“) an: Ziel ist die Verbreitung von (deutschen) umwelt- und klimaverträglichen Technologien in Mexiko und Zentralamerika, um so einen Beitrag zum Umweltschutz zu leisten. Die deutsche Umweltwirtschaft hat in den letzten Jahren dabei weltweit eine Vorreiterrolle eingenommen und sich gerade im Bereich anwendungsorientierter Technologien für viele Innovationen verantwortlich gezeichnet. Die Studie verfolgte drei Hauptfragestellungen, nämlich a) die Frage nach dem Exportpotenzial der deutschen Umwelttechnologiebranche, b) ob und inwieweit deutsche Angebote der potenziellen Nachfrage in Mexiko und Zentralamerika entsprechen und c) welche Exporthemmnisse existieren und wie diese überwunden werden können.
Neben einem wirkungsorientierten Monitoring vor Ort in Mexiko war aufgrund der angestrebten Projektwirkungen in Deutschland auch dort ein ergänzendes Monitoring notwendig. Zentrale Aufgabe des Projektes war daher die Entwicklung eines wirkungsorientierten Monitoring- und Evaluationssystems zur Messung der angestrebten Wirkungen von KOPLAN in Deutschland. Hierzu wurden ein umfassendes Indikatorentableau sowie ein Erhebungsplan entwickelt, welche als Grundlage für die Etablierung zweier Panels dienen sollten, um Veränderungen bei den wichtigsten Zielgruppen des Projekts, den deutschen Unternehmen der Umwelttechnologiebranche und zentralen Multiplikatoren der deutschen Umweltwirtschaft, messen zu können. Nach Abschluss der Entwicklung des M&E-Systems wurde das CEval mit der Durchführung der ersten Panelbefragung beauftragt. Dabei wurden quantitative und qualitative Datenerhebungsmethoden angewandt (standardisierte Befragung teilnehmender Unternehmen, einer Vergleichsgruppe und Multiplikatoren, Dokumente- und Sekundärdatenanalyse, leitfadengestützte Experteninterviews).
Final Evaluation of „SCAMPIS“ & Scaling up micro-irrigation systems in India, Madagascar and Guatemala
Seit 1977 arbeitet der IFAD daran, die Produktivität und das Einkommen der armen Landbevölkerung zu erhöhen, um die Armut zu überwinden und ihre Lebensqualität zu verbessern. In seiner langen Geschichte hat der Fonds verschiedene Programme und Projekte in der ganzen Welt entwickelt und umgesetzt. SCAMPIS (Scaling up micro-irrigation systems in India, Madagascar and Guatemala) ist eines der Projekte des IFAD, das von COOPERNIC mit einem Budget von 3 Millionen Euro finanziert wird. Im Zeitraum 2008-2012 zielte es darauf ab, die Lebensgrundlage und die Ernährungssicherheit von 30.000 kleinbäuerlichen Haushalten in den drei Pilotländern Indien, Madagaskar und Guatemala zu verbessern, indem sie mit Mikrobewässerungssystemen (MIS) und organischen Flüssigdüngersystemen (LOF) ausgestattet wurden.
Bevor das Programm im Dezember 2012 auslief, wurde eine externe Evaluierung von SCAMPIS durchgeführt, um die Erreichung der Programmziele und -ergebnisse zu bewerten. Gemäß den Terms of Reference verfolgte die Evaluierung insbesondere drei Ziele:
- Bei der Überprüfung wurde die Erreichung der Programmziele und -ergebnisse im Hinblick auf die Komponenten und die entsprechenden Zielgruppen bewertet.
- Es wurden Lehren und Empfehlungen für den IFAD im Hinblick auf die Verbesserung der Konzeption und Durchführung künftiger Programme gegeben. Replizierbarkeit und Skalierung waren in diesem Zusammenhang zentrale Begriffe.
- Besonderes Augenmerk wurde auf die Nachhaltigkeit gelegt, insbesondere im Hinblick auf zukünftige Aktivitäten, die von den verschiedenen Interessengruppen entlang der Wasser-Wertschöpfungskette von MIS/LOF durchgeführt werden sollen.
Das CEval-Evaluierungsteam besuchte jedes Projektland für 12 Tage, um Interviews mit den Hauptakteuren in den durchführenden Organisationen, Schlüsselpersonen entlang der MIS-Wertschöpfungskette und den Hauptbegünstigten zu führen. Darüber hinaus wurde in jedem der drei Projektländer eine quantitative Umfrage durchgeführt, um mehr über die Auswirkungen von MIS auf die Ernährungssicherheit in den verschiedenen Länderkontexten zu erfahren. Schließlich wurde auch die Perspektive des IFAD berücksichtigt, indem Daten aus Interviews mit den wichtigsten Vertretern des SCAMPIS-Projekts verwendet wurden.
East4South – Development Awareness from the Roots
Gegenstand der Evaluation war das von der EU finanzierte Projekt der Deutschen Welle-Akademie (DWA) „East4South – Development Awareness from the Roots“. Das Projekt zielte darauf ab, Nachwuchsjournalisten aus den osteuropäischen EU12-Staaten dabei zu unterstützen, qualitativ hochwertige Reportagen über entwicklungspolitische Themen in den Medien ihrer Heimatländer zu veröffentlichen. Langfristig ist mit dem Projekt beabsichtigt, EU12-Bürger für entwicklungspolitische Themen zu sensibilisieren und in den EU12-Ländern eine positive Einstellung gegenüber der EU-Entwicklungspolitik zu erzeugen. Im Rahmen dieses Vorhabens wurden insgesamt 60 Nachwuchsjournalisten aus Osteuropa und Afrika in interkulturellem Journalismus weitergebildet und miteinander vernetzt. Bei einem Aufenthalt in Afrika produzierten afrikanische und osteuropäische Journalisten anschließend gemeinsam journalistische Beiträge über entwicklungspolitische Themen, mit dem Ziel diese in den Medien der EU12 Ländern zu veröffentlichen.
Ziel der summativen ex-post Evaluation war die Analyse und Bewertung der Wirkungen der Projektmaßnahmen und der Qualität der Projektdurchführung. Hierzu verwendete die CEval GmbH einen Multimethodenansatz mit u.a. qualitativen Leifadeninterviews mit Stakeholdern, einer Analyse von Projektdokumenten, Sekundäranalysen von Evaluationsfragebögen und Kurzberichten der Teilnehmer sowie einer standardisierten Online-Befragung aller Teilnehmer.Talking about migrants‘ lives in Russia
Gegenstand der Evaluation war das von der Deutschen Welle-Akademie und der russischen Foundation for Independent Radio Broadcasting durchgeführte EU-Projekt „Talking about migrants lives in Russia“. Ziel des Projekts war es, die Inklusion von Migranten in der russischen Gesellschaft zu fördern. Zur Erreichung dieses Zieles wurden russische Radiojournalisten und Vertreter zivilgesellschaftlicher Organisationen (VZOs) aus dem Bereich Migration in Workshops fortgebildet und auf lokaler Ebene miteinander vernetzt. Durch diese Workshops sollte zum einen die Professionalität der Radiojournalisten und zum anderen die Medienkompetenz der VZOs erhöht werden. Mithilfe von Podiumsdiskussionen, einer Internetplattform und eines journalistischen Wettbewerbs wurde zudem angestrebt, die Kooperation zwischen Radiojournalisten und VZOs dauerhaft zu intensivieren. Mittelfristig wurde mit all diesen Maßnahmen beabsichtigt, die Quantität und Qualität journalistischer Beiträge zu migrationsrelevanten Themen zu erhöhen.
Der Fokus der summativen ex-post-Evaluation lag auf der Analyse und Bewertung der kurz- und mittelfristigen Wirkungen der Workshops. Zu diesem Zweck wurde zudem näher untersucht, in welcher Weise die Projektdurchführung, die Internetplattform und die Podiumsdiskussionen die beabsichtigten Wirkungen beeinflusst haben.
Im Rahmen der Datenauswertung und Evaluation verwendete die CEval GmbH einen Multimethodenansatz mit u.a. einer Analyse von Projektdokumenten, Sekundäranalysen von Evaluationsfragebögen der Teilnehmer und qualitativen Leitfadeninterviews. Zudem wurden eine standardisierte russischsprachige Online-Befragung aller Teilnehmer sowie eine russischsprachige Emailbefragung mit dem russischen Projektmanager durchgeführt.Strengthening evaluation capacities within government and civil society in Uganda (ECD Uganda): Development of a blended-learning Master of Evaluation (2012-2015)
In den letzten Jahren erfährt Evaluation als wissenschaftliches Verfahren zur Beschreibung und Bewertung von Interventionen weltweit einen Bedeutungszuwachs. Auch in Uganda steigt der Bedarf an qualifizierten Fachleuten im Bereich Evaluation an. Allerdings kann dieser Bedarf durch bisher aufgelegten Trainings- und Evaluationsprogramm nicht ausreichend gedeckt werden. Aus diesem Grund initiierte das BMZ gemeinsam mit dem CEval und der GIZ ein Programm zur Entwicklung von Evaluationskapazitäten(ECD) in Uganda.
Die wichtigste Komponente dieses Programmes ist die Entwicklung und Durchführung eines Masterstudiengangs in Evaluation im Blended-learning Format an der Uganda Technology and Management University (UTAMU). Blended-learning stellt ein innovatives Konzept dar, das sich weltweit steigender Popularität erfreut und an der UTAMU als Standardlehrverfahren eingeführt wurde. Dabei vereint Blended-learning didaktisch kohärent traditionelle Präsenzveranstaltungen mit modernen Formen des eLearnings. Ein Vorteil dieses Konzepts ist, dass durch dieses Konzept nicht nur Ugandische Studenten sondern auch Studenten aller englischsprachigen afrikanischen Länder angesprochen wurden. Der Master of Evaluation der Saarland Universität sowie der HTW des Saarlandes dient als Vorlage für den ugandischen Master, der im Herbst 2015 eingeführt wurde. Die Inhalte des Masters wurden in enger Kooperation zwischen der CEval GmbH, den Dozenten des deutschen Masters und ugandischen Bezugspersonen an der Makarere Universität abgestimmt und an den ugandischen Kontext angepasst. Der ugandische Master of Monitoring and Evaluation umfasst insgesamt 15 Module, von denen sieben dem Basisprogramm zur Evaluation der saarländischen Hochschule entsprechen. Abgedeckt wurden dadurch alle relevanten Themen zum Erwerb profunder Evaluationskompetenzen. UTAMU hat diese durch weiterführende Module zum Projektmanagement, zum Monitoring und zur Existenzgründung von Consultings ergänzt. Die Module setzen sich im Groben aus Web based trainings, eTutoring und Präsenzveranstaltungen zusammen, wobei die Lehrkonzepte ebenfalls gemeinsam mit allen Akteuren entwickelt werden. Die Verantwortung für die technische Umsetzung der eLearning-Komponente oblag der GIZ. Zwei Module des Masters of Evaluation wurden in einer Pilotphase gemeinsam mit UTAMU getestet. In dieser Pilotphase wurden sowohl das eTutoring als auch die Präsenzphasen im Sinne des Tandemprinzips von Dozenten der UTAMU und der Universität des Saarlandes/HTW betreut. Das „Hosting“ des Online-Studiengangs wurde von der GIZ-Plattform gc21 übernommen. Anschließend wurden die sieben Module in den bereits bestehenden Master der UTAMU integriert und der neue Studiengang wurde den entsprechenden Gremien in Uganda vorgelegt. Mittlerweile ist der Studiengang in Uganda aggregiert und wurde im September 2015 testweise eingeführt.Stärkung von Evaluierungskapazitäten in Zentralamerika (FOCEVAL)
Das Vorhaben „Stärkung von Evaluierungskapazitäten in Zentralamerika (FOCEVAL)“ der Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH zielte darauf ab, die Rolle der Evaluation bei der politischen Entscheidungsfindung und der Steuerung von Politikmaßnahmen in Costa Rica und ausgewählten Ländern Zentralamerikas zu stärken. Die Maßnahme war als Regionalvorhaben konzipiert, dessen politische Trägerschaft beim costaricanischen Ministerium für nationale Planung und Wirtschaftspolitik (MIDEPLAN) liegt.
Aufgabe der CEval GmbH war es im Rahmen des ECD-Vorhaben, vor Ort eine Reihe von Fortbildungen zum Thema Monitoring und Evaluation (M&E) auf verschiedenen Anspruchsniveaus für die Partnerstrukturen zu realisieren, wobei die Inhalte der bereits erprobten und mehrfach durchgeführten Kurse dabei die unterschiedlichen Bedarfe der Zielgruppen widerspiegelten. Darüber hinaus bot die CEval GmbH eine kontinuierliche wissenschaftlichen Begleitung für das Regionalvorhaben an, welche eine permanente Anbindung an die aktuelle internationale Evaluationsdiskussion sicherstellte und die Verbindung zu wissenschaftlichen Organisationen und Netzwerken aufrechterhielt. Sie umfasste eine Reihe von Beratungsleistungen, insbesondere bei der Strategie- und Konzeptentwicklung, die auf den neuesten wissenschaftlichen Erkenntnissen der Monitoring- und Evaluationsforschung basierte.
