Projekt-Kategorien: Entwicklungszusammenarbeit

Wirkungsevaluierung der Aktivitäten der HSS im Bereich „Civic Education“ in Kenia

Die Hanns-Seidel-Stiftung (HSS) ist seit mehr als 35 Jahren in der Entwicklungszusammenarbeit aktiv (Stand 2013) und arbeitet seit 1987 im Rahmen ihres Regionalprojekts Ostafrika in Kenia. 2013 sollten erstmals die Aktivitäten im Bereich Civic Education in Kenia einer Wirkungsevaluierung unterzogen werden. Diese Aktivitäten umfassten in erster Linie Weiterbildungsseminare zur politischen Bildung.

Primäres Ziel der Wirkungsevaluierung war es, einen empirisch und methodisch fundierten Nachweis über die Wirksamkeit der Weiterbildungsseminare der HSS in Kenia zu liefern, sowie die zu erwartende Nachhaltigkeit der erzeugten Wirkungen abzuschätzen. Dabei sollten auch die Effizienz der Maßnahmenumsetzung sowie deren Relevanz für die Partner und Zielgruppen bewertet werden.

Zur Beantwortung der Evaluationsfragen war ein aufwändiges quasi-experimentelles Design gewählt worden, das sich durch mehrere Messzeitpunkte und die Einbeziehung von zwei Vergleichsgruppen auszeichnet. Durch die verschiedenen Messzeitpunkte konnten direkte Effekte der Maßnahmen sowie die Veränderung dieser Effekte über einen längeren Zeitraum hinweg beobachtet werden (follow-up). Der Vergleichsgruppenansatz ermöglichte, externe Effekte auf die Zielgruppe auf lokaler und nationaler Ebene zu kontrollieren. Die Datenerhebung erfolgte durch ein Team Studierender der Universität Nairobi, die speziell für diese Aufgabe durch das CEval ausgebildet wurden.

UNICEF-Mehrländer-Evaluation zu Inklusion aller Kinder in qualifiziertes Lernen in MOEL/GUS Staaten

Die Evaluation bewertete (i) inwiefern UNICEF einen Beitrag geleistet hat, damit die Programminterventionen sich mit wichtigen Kinderrechtsverletzungen im Bereich Bildung befasst, Gleichheitsdiskrepanzen verringert und zu Wirkungen zur Verbesserung der Situation von Kinder geführt haben. Fernerhin, wurden (ii) Lehren aus den Lernpraktiken, -innovationen und & -modelle gezogen, die für zukünftige Steuerungsprozesse innerhalb UNICEF zur Verfügung gestellt werden.
Der Evaluation lagen daher folgende Ziele zugrunde:

  • nachzuweisen und zu dokumentieren welche Veränderungen im Leben von Kindern in den letzten zehn Jahren stattgefunden haben,
  • zu bewerten und zu demonstrieren wie diese Wirkungen durch Systemveränderungen zustande gekommen sind, und
  • den Beitrag UNICEFs zu diesen Systemveränderungen zu dokumentieren.

Zudem beachtete die Evaluation folgende Aspekte bei der Wirkungsbilanzierung:

  • Kontextangemessenheit (bezüglich der Anpassung von Programmansätzen an qualitative Unterschiede);
  • Koordination (mit anderen Stakeholder);
  • (iii) Koheränz (über verschiedene Politiken und anderen unterstützenden Interventionen); und
  • Schutz (im Sinne von Angemessenheit von jeweiligen Bildungssystemen auf den Schutz von vulnerablen Gruppen).

Letztlich leistete die Evaluation einen Beitrag dazu, dass zukünftige Programme verbessert werden, indem sie verschiedene Kindergruppen berücksichtigen, die gefährdet sind die Schule abzubrechen bzw. der Schule fernzubleiben.

Nachhaltige Wirtschaftsentwicklung Myanmar

Gemeinsam mit dem Deutschen Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) begleitete das CEval drei Vorhaben zur Nachhaltigen Wirtschaftsentwicklung in Myanmar zur Schaffung der Voraussetzungen für deren Wirkungserfassung und Bewertung. Die Beratung trug zur Verbesserung der Qualität, Relevanz und Vollständigkeit der Projektkonzepte und Programmbildung, einschließlich eines kohärenten Ziel- und Wirkungssystems bei. Damit wurden die methodischen Voraussetzungen für einen späteren Wirkungsnachweis sichergestellt. Gegenstand des Beratungsvorhabens waren drei Projekte in den Bereichen Berufliche Bildung, Privatwirtschaftsentwicklung und Finanzsektorreform, aus denen in der Zukunft ein kohärentes Programm im Bereich der Nachhaltigen Wirtschaftsentwicklung gebildet werden soll.

Aufgabe des CEval war es dementsprechend, gemeinsam mit dem DEval:

  1. einen Beitrag zur Qualität, Relevanz und Vervollständigung der Projektkonzeptionen und zum Aufbau eines kohärenten Ziel- und Wirkungssystems zu leisten
  2. Voraussetzungen für die Wirkungserfassung und Bewertung der Vorhaben zu schaffen
  3. einen Beitrag zur Programmbildung zu leisten sowie
  4. eine Wirkungsevaluierung umzusetzen.

Hierfür waren ein mehrstufiges Analyse- und Beratungskonzept ausgearbeitet worden, das im Kern aus

  1. der Entwicklung eines umfassenden Wirkungsmodells,
  2. der Erarbeitung eines entsprechend vollständigen Indikatorentableaus,
  3. der Umsetzung einer Baseline-Studie sowie
  4. der Ausarbeitung eines wirkungsorientierten Monitoring-Systems besteht.

Unabhängige Evaluierungen 2013/2014 im Sektor Ländliche Entwicklung: Management und Nutzung natürlicher Ressourcen, sowie Kapazitätenaufbau in Zentralamerika

Im diesem Zyklus der Unabhängigen Evaluierungen wurden drei GIZ-Entwicklungsmaßnahmen durch das CEval evaluiert:

  • Förderung nachhaltiger Ressourcennutzung und lokale wirtschaftliche Entwicklung in Honduras (PRORENA), Honduras
  • Nachhaltiges Ressourcenmanagement und Förderung unternehmerischer Kompetenzen (MASRENACE), Nicaragua
  • Entwicklung und Stärkung von Kompetenzen und Kapazitäten zum Management natürlicher Ressourcen in Zentralamerika (Alianza de Aprendizaje)

Ziel der Evaluierung war es, ein vollständiges Bild der eingetretenen (positiven wie negativen, intendierten und nicht-intendierten) Veränderungen zu liefern (->Ermittlung der Wirkungsbilanz). Dabei folgte das Vorgehen der Logik eines „Trichteransatzes“, indem es zunächst alle für den Sektor relevanten Veränderungen erfasste und in einem zweiten Schritt analysierte, welche dieser Veränderungen ursächlich mit den Programminterventionen in Zusammenhang stehen (->Wirkungsattribution).

Zur Informationsgewinnung und zur Herstellung der kontrafaktischen Situation wendete das CEval einen ausgewogenen Methodenmix an. Dabei erfüllt das CEval u.a. folgende Leistungen:

  • Entwicklung eines übergeordneten Wirkungsmodells der drei Vorhaben aus den Projektdokumenten, das der Bewertung der Evaluierung zugrunde liegt,
  • Durchführung von qualitativen Interviews mit Schlüsselakteuren und Fokusgruppeninterviews mit Zielgruppen,
  • Umsetzung quantitativer Befragungen auf Zielgruppenebene,
  • bio-technische Analysen von Bodenproben und Biodiversitätsfaktoren (wie z.B. Erhebung der Bestandsgrundfläche und Anzahl der Baumarten).

Im letzten Schritt wurden die Querschnittsauswertungen aller drei Entwicklungsmaßnahmen in einem Synthesebericht zusammengefasst.

Assessing the Impacts of Multinational Corporations on Global Development and Value Creation (Global Value)

Die Bedeutung Multinationaler Unternehmen für die globale wirtschaftliche und soziale Entwicklung wird kontrovers diskutiert. Durch ihre Investitionen sind sie ein wichtiger Treiber wirtschaftlichen Wachstums, stellen Arbeitsplätze zur Verfügung und erzeugen dadurch Einkommen. Außerdem tragen sie durch die Bezahlung von Steuern zur Bereitstellung von öffentlichen Dienstleistungen bei. Gleichzeitig wird ihnen vorgeworfen, ausbeuterische Arbeitsbedingungen und Menschenrechtsverletzungen zu fördern, Umweltschäden zu verursachen und Korruption zu verbreiten. Vor allem in Entwicklungsländern werde es versäumt, verantwortungsvolle Geschäftspraktiken zu etablieren.

Im Rahmen des GLOBAL VALUE Projekts wurde ein innovatives Rahmenkonzept entwickelt, um die Auswirkungen multinationaler Unternehmen hinsichtlich nachhaltiger Entwicklung, verantwortungsvoller Arbeitsbedingungen, der Achtung von Menschenrechten und Korruptionsbekämpfung zu erfassen. Dazu wurden institutionelle Strukturen und Konzepte verantwortungsvoller Geschäftspraktiken untersucht, die Komplementarität zwischen öffentlichem und privatwirtschaftlichem Engagement bewertet sowie Empfehlungen für Entscheidungsträger in Wirtschaft, Politik und Nichtregierungsorganisationen erarbeitet.

Das Projekt wurde von verschiedenen europäischen Universitäten und zivilgesellschaftlichen Organisationen sowie Partnern der Internationalen Zusammenarbeit durchgeführt. Ein zu erarbeitendes Toolkit zur Wirkungsuntersuchung in den o.g. Bereichen wurde an führenden multinationalen Unternehmen (BATA (Bekleidung, Bangladesch), OLAM (Nahrungsmittel, Tansania)) getestet.

Die Hauptaufgabe des CEval bestand darin, einen Beitrag zur Vorbereitung und Entwicklung des Toolkits und des Rahmenkonzepts zu leisten, welches auf den Millennium Development Goals sowie den nachfolgenden Sustainable Development Goals, Menschenrechten, Gender & Diversity sowie Korruptionsbekämpfung und Transparenz basiert und Managementansätze wie Supply Chain Management, Life Cycle Analysis und Base-of-Pyramid sowie verantwortungsvolle Geschäftspraktiken, Wettbewerb und Komplementarität mit öffentlicher Entwicklungshilfe berücksichtigt. Außerdem wurden zwei Fallstudien zur Komplementarität von Aktivitäten Multinationaler Unternehmen mit öffentlicher Entwicklungshilfe durchgeführt.

Evaluation des Blended-Learning Kurses „Qualitätsinfrastruktur für Nachhaltige Entwicklung“

Das Centrum für Evaluation (CEval) war von der Physikalisch-Technischen Bundesanstalt mit der Evaluation des Blended-Learning-Kurses „Qualitätsinfrastruktur für Nachhaltige Entwicklung“ beauftragt worden. Ziel des Kurses war der Aufbau von individuellem Know-how und institutionellen Kapazitäten zur Verbesserung der Qualitätssicherung in Entwicklungsländern. Dabei standen die Standardisierung, die Normierung sowie verwandte Themenfelder im Mittelpunkt.

Durch die Evaluation wurden wichtige Erkenntnisse zur Verbesserung der Kursinhalte, der Umsetzung des Blended-Learning-Kurses, sowie zur Ausweitung des Kursangebots gewonnen.

Development and Implementation of a M&E-System for the Plan Honduras Project: Prevention, Protection and rights Restitution for Girls and Boys survivors of sexual violence

Das übergreifende Ziel des Plan Honduras Projekts war es, Mädchen und Jungen vor sexueller Gewalt zu schützen und ihnen Zugang zu kinderfreundlichen und kompetenten Präventions- und Versorgungsmechanismen auf lokaler bis nationaler Ebene zu ermöglichen. Um dieses Ziel zu erreichen, entwickelte Plan Honduras ein Programm zur Stärkung von Präventions-, Schutz- und Versorgungsmechanismen in Familien, Gemeinden und auf nationaler Ebene für durch sexuelle Gewalt bedrohte und von sexueller Gewalt betroffene Mädchen und Jungen.
Die Aufgabe des Centrums für Evaluation (CEval) war die Begleitung und Unterstützung bei der Entwicklung und Implementierung eines wirkungsorientierten und geschlechtersensiblen M&E-systems für den Projektzyklus und darüber hinaus. Das CEval beriet Projektverantwortliche und deren Partner und bildete diese aus, um ihnen folgende Kompetenzen zu vermitteln:

Systematisches Monitoring und Evaluation von projektrelevanten Aktivitäten
Identifikation der wichtigsten Aspekte auf allen Wirkungsebenen
Formulierung wirkungsorientierter qualitativer Indikatoren

Entwurf eines Datenerhebungsplans und Erhebungsinstrumenten
Lösung auftretender Herausforderungen während der Datenerhebung und &analyse.

Dieser Wissenstransfer wurde erreicht durch eine Kombination von kontinuierlicher Beratung, Trainingsmaßnahmen und praktischer Umsetzung des Beratungs- und Trainingsinhalts im Rahmen einer begleiteten Baselinestudie (inklusive einer Geschlechteranalyse) und einer begleitenden Zwischen- und Schlussevaluierung.

Wirkungsevaluation des WIENCO Ghana Ltd. Vertragsanbau

Übergreifendes Ziel der Wirkungsevaluation war es, die Wirksamkeit zweier vom Africa Agricultural and Trade Investments Fund (AATIF) finanzierten und von WIENCO Ghana gemanagten Vertragsanbauvorhaben in den Bereichen Kakao und Mais zu überprüfen und zu bewerten. Das Hauptinteresse der Evaluation lag dabei insbesondere in der Bestimmung eines kausalen Zusammenhangs zwischen der Teilnahme an den Vorhaben von WIENCO und den folgenden Merkmalen:

  • Produktivitätsniveau
  • Beschäftigungsmöglichkeiten
  • Betriebs- und Haushaltseinkommen
  • Lebens- und Arbeitsbedingungen
  • Risikoaussetzung des Haushaltseinkommen
  • Eingesetzte Risikobewältigungs- und Managementstrategien der Haushalte und Betriebe

    • Die gewonnenen Erkenntnisse sollten dazu dienen, einen Nachweis über die Effektivität der Vertragsanbauvorhaben und damit der finanziellen Unterstützung durch den AATIF zu erbringen. Darüber hinaus sollte für WIENCO ein einfaches Datenerhebungsinstrument für ein kontinuierliches Monitoring seiner Vorhaben entwickelt werden.

    Die in Zusammenarbeit mit dem German Institute for Global and Area Studies (GIGA) und weiteren ghanaischen Partnern durchgeführte methodisch anspruchsvolle Wirkungsevaluation lief über fünf Jahre, beginnend mit einer Baseline-Erhebung Anfang 2016. Zur Generierung einer möglichst validen Datenbasis wurden dabei im Rahmen eines Multi-Methoden-Ansatzes quantitative Haushaltsbefragungen mit einer tiefgehenden qualitativen Kontextanalyse mittels Fokusgruppen- und Experteninterviews kombiniert.

Datenauswertung und Evaluation der Aktivitäten der DW-AKADEMIE in Ruanda

Für die Deutsche Welle evaluierte das Centrum für Evaluation das von der Deutsche Welle-AKADEMIE in Ruanda durchgeführte Training „Reporting for Democracy“. Das von Deutsche Welle-AKADEMIE und der School of Journalism and Communication an der National University of Rwanda gemeinsam organisierte Training umfasste im Zeitraum von Juni 2010 bis April 2011 zehn verschiedene Module zum Thema „Wahlberichterstattung“. Journalisten aus allen Bereichen (Print, Online, Radio, TV) waren Zielgruppe der Veranstaltungen.

Im Rahmen der Datenauswertung und Evaluation wurden die quantitativen und qualitativen Daten der Seminarbeurteilungen der Module ausgewertet. Weiterhin wurden telefonische Kurzinterviews mit sechs bis acht Trainern geführt. Mit Unterstützung der Deutschen Welle-AKADEMIE wurden schließlich alle Teilnehmer in einer Abschlusssitzung einige Monate nach dem letzten Trainingsmodul mittels eines standardisierten Fragebogens um eine Bewertung des langfristigen Nutzens des Trainings gebeten. Ziel der Evaluation war über die deskriptive, summative Auswertung der Rückmeldungen hinaus die Ableitung von Empfehlungen zur Durchführung derartiger Trainings.

Trend- und Wirkungsstudie zum Fairen Handel in Deutschland

Der Faire Handel blickte in Deutschland auf eine über 40-jährige Geschichte zurück, in deren Verlauf er sukzessive stärker ins öffentliche Bewusstsein vordrang. Die Wirkungen des Fairen Handels in den Produktionsländern fair gehandelter Produkte sind in zahlreichen Studien bearbeitet worden. Demgegenüber fehlten bislang Erkenntnisse darüber, welche Auswirkungen der Faire Handel in den Konsumentenländern zeigt.

Diese Lücke schließte die vom CEval durchgeführte Studie zum Fairen Handel in Deutschland. Ihr Ziel war es, durch den fairen Handel hervorgerufene gesellschaftliche Veränderungen sowie den Beitrag der Fairhandelsbewegung auf diese Trends zu identifizieren.

Mithilfe eines partizipativen Ansatzes wurde dabei sichergestellt, dass die Expertise und Perspektiven wichtiger Akteure angemessen in die Studie einfließen. Dem Untersuchungsgegenstand widmete sich die Studie weiter entlang eines theoriebasierten Ansatzes und wendete einen ausgewogenen Mix aus qualitativen und quantitativen Methoden an.

Zur Datenerhebung wurden eine intensive Literaturstudie, qualitative Experteninterviews, Fokusgruppendiskussionen, Online-Erhebungen und eine telefonische Konsumentenbefragung durchgeführt. Die Auswertung der Daten erfolgte unter anderem mittels qualitativer Inhaltsanalysen, Zeitreihenanalysen sowie deskriptiver statistischer Auswertungen. Nach der Datenauswertung wurden die Ergebnisse der Studie in einem Bericht aufbereitet und bei einem Abschlussworkshop gemeinsam mit den Auftraggebenden und Unterstützenden der Studie reflektiert.