GTZ/ GIZ-Rahmenvertrag zur Durchführung von Unabhängigen Evaluierungen und Wirkungsevaluierungen von Programmen der technischen Zusammenarbeit
Die Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) GmbH hatte ihr bestehendes Evaluierungssystem 2005 mit der Einführung von Ex-post Evaluierungen vervollständigt und ließt seitdem im Auftrag des BMZ jährlich weltweit ca. 25-30 Unabhängige Evaluierungen (UE) in dessen Kooperationsländern durch unabhängige wissenschaftliche Institute und Consultingunternehmen durchführen. Der in diesem Zusammenhang mit dem CEval 2005 erstmalig geschlossene Rahmenvertrag war in den darauffolgenden Jahren kontinuierlich verlängert worden, so dass bis dato 30 Vorhaben der technischen Zusammenarbeit durch das CEval evaluiert wurden.
Im Zentrum der Evaluationsvorhaben stand nach der erfolgreichen Erprobung in 2008 und 2009 die Weiterentwicklung eines durch das CEval entwickelten Analysekonzepts, welches sich an den theoretischen Modellen und methodischen Verfahrensweisen des „Rigorous-Impact-Evaluation“-Ansatzes (RIE) orientiert. Kern dieses Ansatzes ist eine hypothesengeleitete Ursache-Wirkungsmessung, ein quasi-experimentelles Untersuchungsdesign (Vorher-Nachher-Messung, Vergleich von Ziel- und Nicht-Zielgruppe), die Kombination unterschiedlicher quantitativer und qualitativer Erhebungsverfahren (Multi-Methoden-Ansatz) sowie die Anwendung elaborierter Matching- und Datenauswertungsmethoden einschließlich multivariater statistischer Verfahren. Durch diese Vorgehensweise wurde eine kausale Zuschreibung der in einem Untersuchungsgebiet eingetretenen (wirtschaftlichen, gesellschaftlichen, ökologischen etc.) Veränderungen und somit eine valide und reliable Wirkungsmessung ermöglicht.
Im Jahr 2010 führte das CEval vier Evaluierungen im Schwerpunktsektor „Berufliche Bildung“ und in 2011 zwei Evaluierungen in im Bereich „Gesundheit“ durch. Für ein Vorhaben in der Mongolei wurde von CEval-Mitarbeitern eine methodisch anspruchsvolle Wirkungsevaluierung und für ein anderes Programm in Südafrika wurde erstmalig eine ex-ante Evaluierung realisiert, indem eine Bedarfsanalyse, ein Impact Assessment und eine Baseline-Studie durchgeführt wurden. Des Weiteren wurde im Rahmen der ex ante Evaluierung die Wirkungslogik des Programms entwickelt sowie ein Konzept für zukünftiges Wirkungsmonitoring erarbeitet.
Die weiteren vier Evaluierungen wurden zwischen 2010 und 2011 unter der Koordination von Sonja Wolf von externen Gutachtern aus dem In- und Ausland umgesetzt.
2010 handelte es sich um folgende TZ-Vorhaben:
2011 handelte es sich um folgende TZ-Vorhaben:
Hands-On Methods to Measure Development Effectiveness and Enhancing Knowledge-Sharing
Ziel des Vorhabens war die Stärkung der Kompetenzen der Programmpartner des United Nations International Fund for Agricultural Development (IFAD) in Ländern der North Africa Division im Bereich Monitoring und Evaluation (M&E). In einer ersten Phase wurden hierzu im Rahmen zweier Pilotstudien in Süd-Sudan und Albanien die dort eingesetzten Monitoring- und Evaluationsverfahren auf ihre Angemessenheit und Vollständigkeit hin untersucht und zu umfassenden M&E-Systemen weiterentwickelt. Die dabei gewonnenen Erkenntnisse hinsichtlich Ergebnisqualität und Handhabbarkeit wurden anschließend systematisch aufbereitet und in einem zweiten Schritt auf ihre Übertragbarkeit auf andere Länder hin untersucht. Damit sollten weitere Projektträger und nationale Institutionen in die Lage versetzt werden, eigenständig Daten zu erheben, zu analysieren und zu bewerten, die ihnen Aufschluss über die Wirkungen und Nachhaltigkeit ihrer Projekte geben.
Schließlich wurden daraus praktische Handlungsleitfäden für die Erfassung von Wirkungen von Programmen in den Bereichen ländliche Entwicklung und Armutsminderung entwickelt und im Rahmen von überregionalen Informationsveranstaltungen sowie im Internet weiter verbreitet. Bei dem Vorhaben kooperierte das CEval mit der Arbeitsgemeinschaft Entwicklungspolitischer Gutachter (AGEG), die ihrerseits hierfür Sektorexpert:innen einsetzte.
Zwischenevaluierung des InWEnt-Programms „Dialogforen mit Ankerländern – Auf dem Weg zu einer globalen Partnerschaft (2008-2010)“
Gegenstand der Zwischenevaluierung waren die seit 2008 von InWEnt durchgeführten Maßnahmen im Rahmen des Programms „Dialogforen mit Ankerländern“, welche eine Intensivierung des internationalen Erfahrungsaustauschs zu den aktuellen globalen Herausforderungen im Finanzsektor und im Bereich der Klimaentwicklung zum Ziel haben. Auf der Programmzielebene geht es darum, politische Gestaltungsspielräume für kooperative Politikansätze zur Wahrung der beiden globalen öffentlichen Güter „Begrenzung des Klimawandels und Stärkung der internationalen Finanzmarktstabilität“ zu vergrößern. Im Rahmen von Dialogforen sollen die Teilnehmer dazu befähigt werden, ihre Regierungen in der Wahrnehmung ihrer internationalen Verantwortung zur Sicherung dieser Güter durch eine konstruktive Mitgestaltung in formellen Global Governance Strukturen zu unterstützen.
Ziel dieser Untersuchung war es, auf der Basis der Analyse- und Bewertungsergebnisse eine Entscheidungsgrundlage für die von InWEnt beantragte Programmfortsetzung in den Jahren 2011/2012 zu erhalten. Entsprechend den DAC-Kriterien wurden die Effektivität, die Effizienz und die Nachhaltigkeit des Programms bewertet sowie Empfehlungen zur Kohärenz, Koordination und Komplementarität mit den Maßnahmen anderer deutscher Geber formuliert. Des Weiteren galt es die bislang erzielten Ergebnisse im Hinblick auf ihre Relevanz sowie ihre mittel- und langfristige Wirkung hin zu untersuchen.
Methodisch basierte die Evaluation auf Sekundär- und Dokumentenanalysen, ca. 50 leitfadengestützten Intensivinterviews, zwei teilstandardisierten Online-Befragungen aller Dialogforen-Teilnehmer beider Komponenten sowie auf der Teilnahme an zwei Dialogforen in China.
GTZ-Rahmenvertrag 2007-2009 zur Durchführung von Unabhängigen Evaluierungen und Wirkungsevaluierungen von Programmen der technischen Zusammenarbeit
Die Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) GmbH hat ihr bestehendes Evaluierungssystem 2005 mit der Einführung von Ex-post Evaluierungen vervollständigt und lässt seither im Auftrag des BMZ jährlich weltweit ca. 25-30 Unabhängige Evaluierungen (UE) in dessen Kooperationsländern durch unabhängige wissenschaftliche Institute und Consultingunternehmen evaluieren (je ca. zehn Evaluierungen laufender Vorhaben, zehn Schluss- und zehn ex-post Evaluierungen). Hierfür wurde u.a. mit dem CEval ein zweiter Rahmenvertrag für die Jahre 2007 bis 2009 geschlossen.
Im Rahmen des Auftrages führte das CEval im Auftrag der GTZ in diesem Zeitraum 15 Unabhängige Evaluierungen und Wirkungsevaluierungen in den Sektoren Energie, Wasser, Mikrofinanzen und Berufliche Bildung durch.
Vier der Vorhaben evaluierten CEval-Mitarbeiter als Wirkungsevaluationen zur Erprobung eines durch das CEval erstellten Konzepts, zur methodisch anspruchsvolleren Wirkungsmessung im Rahmen von GTZ Unabhängigen Evaluierungen in Anlehnung an Rigorous Impact Evaluations (RIE). Prämisse des Konzepts war die Berücksichtigung des Leitfadens zur Erfolgsbewertung von GTZ unabhängigen Evaluierungen und der Alltagstauglichkeit, d.h. die Durchführung unter vertretbarem zeitlichem und finanziellem Rahmen. Das methodische Konzept beinhaltete: (a) Hypothesengeleitete Ursache-Wirkungsuntersuchung unter Berücksichtigung der GTZ Wirkungskette, (b) Quasiexperimentelles Forschungsdesign mit Vorher-Nachher Ansatz sowie Ziel- und Vergleichsgruppenansatz, (c) Multi-Methoden-Ansatz mit Berücksichtigung einer standardisierten Zielgruppenbefragung und (d) Adäquate Datenauswertungsmethoden (Einsatz von uni- und multivariaten statistischen Analyseverfahren). Wirkungen/Veränderungen sollten zu den Messzeitpunkten t1 (Ausgangssituation) und t2 (Zeitpunkt der Evaluation) identifiziert und die kausale Zuschreibung zum Evaluationsgegenstand (kausale Ursache-Wirkungszuschreibung) ermöglicht werden.
Alle weiteren elf Evaluierungen wurden unter der Koordination von Nicolà Reade und Stefan Silvestrini von CEval-Mitarbeitern sowie externen Gutachtern aus dem In- und Ausland umgesetzt.
Zu den Evaluierungen und Wirkungsevaluierungen in 2007 bis 2009 gehörten:
- Laufende Evaluierung der GTZ Entwicklungsmaßnahme „Förderung produktiver Kleinwasserkraftnutzung, Nepal“ (2007)
- Laufende Evaluierung der GTZ Entwicklungsmaßnahme „ProBEC Effiziente Nutzung von Biomassenenergie im Südlichen Afrika“ (2007)
- Schluss Evaluierung der GTZ Entwicklungsmaßnahme „Förderung von Klein- und Mittelunternehmen, Mongolei“ (2007)
- Ex-post Evaluierung der GTZ Entwicklungsmaßnahme „Beratung zur Förderung der rationellen Energieverwendung (DEDP), Thailand“ (2007)
- Ex-post Evaluierung der GTZ Entwicklungsmaßnahme „Energieeinsparung in Klein- und Mittelindustrie im Bundesstaat Rio de Janeiro, Brasilien“ (2007)
- Ex-post Evaluierung der GTZ Entwicklungsmaßnahme „Förderung der Energieeffizienz in Gebäuden in Erzurum, Türkei“ (2007)
- Laufende Wirkungsevaluierung des KV Programms „Entwicklung des Wassersektors, Kenia“ (2008)
- Laufende Wirkungsevaluierung des KV „Programms für die Reform des Wassersektors, Sambia“ (2008)
- Ex-post Wirkungsevaluierung des GTZ Vorhabens „Qualifizierung kommunaler Dienste (TODAIE), Türkei“ (2008)
- Laufende Evaluierung des KV Programms „Trinkwasser- und Sanitärprogramm PROAGUA, Peru“ (2008)
- Schluss Evaluierung des KV Programms „Verbesserung der Wasserversorgung in der Volta- und Eastern-Region, Ghana“ (2008)
- Schluss Evaluierung des GTZ Vorhabens „Wassereinzugsgebiets-Management, Rio Lerma im Tal von Toluca und Rio Balsas, Mexiko“ (2008)
- Gemeinsame Ex-post Wirkungsevaluierung des Vorhabens „TESDA, Philippinen“ (2009)
- Zwischenevaluierung des Projekts „Unterstützung des Ukrainischen Finanzwesens“ (2009)
- Ex-post Evaluierung des KV Programms „Finanzsystementwicklung, Bolivien“ (2009)
Datenauswertung und Evaluation der Aktivitäten der DW-AKADEMIE in Albanien
Für die Deutsche Welle evaluierte das Centrum für Evaluation die Aktivitäten der Deutsche Welle-AKADEMIE in Albanien. Dabei wurden zwölf Kurse für albanische Radiosender zu den übergreifenden Themen Journalismus und Management durchgeführt. Im Rahmen der Datenauswertung und Evaluation wurden die quantitativen und qualitativen Daten der Seminarbeurteilungen der Kurse nach Journalismus- und Management-Kursen getrennt ausgewertet. Weiterhin wurden telefonische Kurzinterviews mit sechs bis sieben Trainern geführt und eine teilstandardisierte Online-Befragung der Ansprechpartner der albanischen Partnersender realisiert. Ziel der Evaluation war über die deskriptive, summative Auswertung der Rückmeldungen hinaus die Ableitung von Empfehlungen zur Durchführung derartiger Trainings.
Wirkungsstudie: Armutsminderung im Ländlichen Raum durch Fairtrade
Fairtrade zielt darauf ab, den Fairen Handel zu stärken und möchte es Kleinbauern und Plantagenangestellten in Afrika, Lateinamerika und Asien ermöglichen, von der angestammten Produktion zu leben. Daher legen Fairtrade-Standards als Strategie zur Armutsbekämpfung u.a. ein stabiles Einkommen fest, sowie Grundsätze für Umweltschutz und Gleichstellung. Eine Fairtrade-Prämie, die für die Produkte der Kleinbauern und der zertifizierten Plantagen bezahlt wird, ermöglicht Investitionen in Entwicklungsprojekte. Die Ziele von Fairtrade sind u.a.:
- Langfristige und möglichst direkte Handelsbeziehungen von Kleinbauern aus benachteiligten Regionen des Südens in den Markt des Nordens.
- Mindestens gesetzlicher Mindestlohn, Schutzkleidung, bezahlter Urlaub und soziale Vorsorge für Angestellte auf Plantagen.
Ziel dieser Studie war es, die Wirkungen von Fairtrade auf die ländliche Entwicklung in ausgewählten Gebieten/Regionen auf Basis der neuesten Kenntnisse zur Wirkungsmessung zu identifizieren und zu bewerten. Dabei wurde folgende bisher nicht hinreichend untersuchte Hypothese überprüft: „Die Präsenz von repräsentativen Fairtrade-zertifizierten Kooperativen oder Plantagen innerhalb eines gegebenen Gebietes hat über die Fairtrade-Produzentenorganisationen (PO) hinaus eine positive Wirkung auf die ländliche Entwicklung und trägt somit zur Verbesserung der sozialen, wirtschaftlichen und ökologischen Bedingungen im ländlichen Raum bei“. Aufgabe der Wirkungsstudie war es folglich, objektive und belastbare Daten für die Diskussion der Frage, ob Fairtrade ein effektives Instrument der Armutsminderung im ländlichen Raum darstellt, zu liefern.
Methodisch basierte die Wirkungsstudie auf einer hypothesengeleiteten quasi-experimentellen Versuchsanordnung und einem Multi-Methodenansatz. In sechs Produktsektoren wurde jeweils eine Fallstudie durchgeführt: Blumen (Kenia), Kakao (Ghana), Kaffee (Peru), Bananen (Peru), Baumwolle (Indien) und Tee (Indien). Hierfür kamen folgende Datenerhebungsmethoden zum Einsatz: Sekundär- und Dokumentenanalysen, leitfadengestützte Intensivinterviews, Gruppendiskussionen, partizipative Methoden, teilnehmende Beobachtungstechniken sowie mehrere (teil-)standardisierte Zielgruppen-Befragungen. Des Weiteren wurden Inhaltsanalysen sowie deskriptive und inferenzstatistische Analyseverfahren als Datenauswertungsmethoden angewandt.
———————————————— Zum Download stehen bereit (externe Links): Die Zusammenfassung der Studie (pdf, 4 Seiten, deutsch)Evaluation des African Good Governance Networks (AGGN)
Junge, an deutschen Hochschulen ausgebildete Afrikanerinnen und Afrikanern werden seitens des DAAD als wichtige Resource-Persons angesehen, die dazu in der Lage sind, nach ihrer Rückkehr in ihre Heimatländer in Prozessen der Entwicklung zu mehr Rechtsstaatlichkeit, Demokratie und wirtschaftlicher Prosperität eine wichtige Schlüsselrolle einzunehmen. Anfang 2007 wurde das African Good Governance Network (AGGN) unter der Schirmherrschaft des Bundespräsidenten ins Leben gerufen. Mittels dieses Netzwerks soll ein Beitrag zur Ausweitung und Vertiefung der akademischen Zusammenarbeit zwischen Afrika/Subsahara und Deutschland geleistet werden und zugleich sollen künftige afrikanische Führungskräfte im Bereich guter Regierungsführung gefördert werden. Die Mitglieder des AGGN unterstützen die Prinzipen des Good Governance, erkennen diese an und verbreiten sie aktiv.
Das AGGN kann als langfristig angelegtes Fortbildungsprogramm verstanden werden, in das jährlich bis zu zehn neue Mitglieder aufgenommen werden. Gegenwärtig verfügt das Netzwerk über 32 Mitglieder aus vierzehn afrikanischen Ländern, die sich bis zu dreimal pro Jahr zu Workshops und Seminaren treffen. Inhaltlich beschäftigen sich diese Seminare mit unterschiedlichen theoretischen und praktischen Aspekten zu Good Governance sowie auch zu verschiedenen Personal Skills. Ziel ist es, das Bewusstsein für und das Verständnis von Good Governance und der damit verbundenen gesellschaftlichen Haltung zu stärken.
Aufgabe der Evaluation war zum einen eine Bewertung der bislang erzielten Ergebnisse und Wirkungen sowie davon ausgehend die Ableitung von Handlungsempfehlungen für die Ausgestaltung weiterer Programmaktivitäten und die weitere Entwicklung des Netzwerks unter Berücksichtigung der Potenziale des Netzwerks.
Methodisch basierte die Evaluation auf Sekundär- und Dokumentenanalysen, einer standardisierten Online-Befragung aller AGGN-Mitglieder sowie einer Teilnahme an einem der Seminare der AGGN in Südafrika, in dessen Kontext die Ergebnisse der standardisierten Befragung mit den AGGN-Mitgliedern selbst diskutiert wurden.
Evaluation der Initiative „Kultur und Entwicklung“
Das Goethe-Institut fördert mit seiner Initiative „Kultur und Entwicklung“ durch spezifische Beratungs- und Bildungsprogramme Institutionen und Akteure aus Kultur, Medien und Gesellschaft vor allem in Ländern der Entwicklungszusammenarbeit. Diese Programme zielen auf berufliche Qualifizierung, beraten und fördern den Aufbau von Netzwerken und schaffen kulturelle und zivil- gesellschaftliche Plattformen.
Aufgabe der Evaluation war es einerseits, den Planungs-, Implementations- und Durchführungsprozess durch das Goethe-Institut zu analysieren und zu bewerten und andererseits eine Relevanz- und Effektivitätsanalyse vorzunehmen.
Zur Datengewinnung wurden Dokumenten- und Sekundäranalysen eingesetzt und ca. 30-40 leitfadengestützte Intensivinterviews geführt.
Handreichung Auswahl und Messung von Indikatoren im Bereich Berufliche Bildung und Arbeitsmarkt
Spätestens seit der Verabschiedung der Milleniumserklärung der Vereinten Nationen im September 2000 kam der Frage nach den Wirkungen von Entwicklungszusammenarbeit eine zentrale Bedeutung zu. Um zu ermitteln, ob eine Entwicklungsmaßnahme die erwünschten positiven Wirkungen erreicht und negative Nebenwirkungen vermeidet, wurden Indikatoren als Hilfsinstrumente eingesetzt. Die Auswahl von geeigneten Indikatoren und deren Messung stellt Verantwortliche in Vorhaben der Beruflichen Bildung oftmals vor große Herausforderungen. Das CEval entwickelte eine Handreichung zur praktikablen Herangehensweisen für die Auswahl und Messung von Indikatoren im Zusammenhang von Maßnahmen der Beruflichen Bildung für die GTZ. Dabei werden u.a. folgende Fragen beantwortet:
- Welche Indikatoren sind besonders geeignet, die klassischen Ziele von Maßnahmen der Beruflichen Bildung abzubilden?
- Welche Daten werden in welcher Qualität benötigt?
- Welche Methoden sollen zur Datenerhebung bzw. Messung angewandt werden?
- Wie kann der Forderung nach Baseline-Daten und der Ermittlung von Nettowirkungen praktikabel nachgekommen werden?
Evaluation des Wiederaufbau- und Umsiedlungsprojekts der Caritas Schweiz in Meulaboh und Singkil (Provinz Aceh/Indonesien)
Im August und September 2008 wurden zwei von der Caritas Schweiz in der indonesischen Provinz Aceh durchgeführte
Wiederaufbau- und Umsiedlungsprojekte evaluiert. Mit den Projekten, die in Folge des Tsunami und eines anschließenden
Nachbebens im Dezember 2005 initiiert wurden, sollte ein Beitrag zur Wiederherstellung der Wohn- und Lebensbedingungen der
von den Katastrophen betroffenen Bevölkerung in zwei Siedlungsgebieten in Küstennähe (Meulaboh und Singkil)
geleistet werden. Im Zentrum des Evaluationsvorhabens stand die Untersuchung und Bewertung der Wirksamkeit der Projekte
für die Begünstigten. Ziel der Evaluationen war es zu überprüfen,
- inwieweit die Begünstigten erreicht wurden und Ihre Partizipationsmöglichkeiten angemessen waren,
- ob die Projektmaßnahmen ausreichend an den Bedarfen der Begünstigten ausgerichtet waren (Relevanz und Signifikanz),
- ob die intendierten Wirkungen in ausreichendem Maße erreicht wurden (Effektivität),
- welche weiteren Wirkungen, also auch nicht intendierte Effekte, die Projekte im gesellschaftlichen Umfeld der
Begünstigten ausgelöst haben und schließlich - inwieweit von einer Nachhaltigkeit der Wirkungen ausgegangen werden kann und welche weiteren externen Faktoren hierbei eine
Rolle spielen.
Des Weiteren wurden die lokalen Rahmenbedingungen sowie die Effizienz des Umsetzungsprozesses beleuchtet.
Anhand der Untersuchungsergebnisse wurden Empfehlungen für weiterführende Aktivitäten in den Zielregionen
entwickelt.
Im Rahmen der Evaluation kam ein Multi-Methodenansatz zur Anwendung, der die Kombination sekundäranalytischer Verfahren
Dokumentenanalyse, Analyse der Rahmenbedingungen) sowie qualitativer und quantitativer empirischer Erhebungsmethoden
(leitfadengestützte Intensivinterviews, Beobachtung, standardisierte schriftliche Befragung)umfasste.
