Evaluation des Wiederaufbau- und Umsiedlungsprojekts der Caritas Schweiz in Meulaboh und Singkil (Provinz Aceh/Indonesien)
Im August und September 2008 wurden zwei von der Caritas Schweiz in der indonesischen Provinz Aceh durchgeführte
Wiederaufbau- und Umsiedlungsprojekte evaluiert. Mit den Projekten, die in Folge des Tsunami und eines anschließenden
Nachbebens im Dezember 2005 initiiert wurden, sollte ein Beitrag zur Wiederherstellung der Wohn- und Lebensbedingungen der
von den Katastrophen betroffenen Bevölkerung in zwei Siedlungsgebieten in Küstennähe (Meulaboh und Singkil)
geleistet werden. Im Zentrum des Evaluationsvorhabens stand die Untersuchung und Bewertung der Wirksamkeit der Projekte
für die Begünstigten. Ziel der Evaluationen war es zu überprüfen,
- inwieweit die Begünstigten erreicht wurden und Ihre Partizipationsmöglichkeiten angemessen waren,
- ob die Projektmaßnahmen ausreichend an den Bedarfen der Begünstigten ausgerichtet waren (Relevanz und Signifikanz),
- ob die intendierten Wirkungen in ausreichendem Maße erreicht wurden (Effektivität),
- welche weiteren Wirkungen, also auch nicht intendierte Effekte, die Projekte im gesellschaftlichen Umfeld der
Begünstigten ausgelöst haben und schließlich - inwieweit von einer Nachhaltigkeit der Wirkungen ausgegangen werden kann und welche weiteren externen Faktoren hierbei eine
Rolle spielen.
Des Weiteren wurden die lokalen Rahmenbedingungen sowie die Effizienz des Umsetzungsprozesses beleuchtet.
Anhand der Untersuchungsergebnisse wurden Empfehlungen für weiterführende Aktivitäten in den Zielregionen
entwickelt.
Im Rahmen der Evaluation kam ein Multi-Methodenansatz zur Anwendung, der die Kombination sekundäranalytischer Verfahren
Dokumentenanalyse, Analyse der Rahmenbedingungen) sowie qualitativer und quantitativer empirischer Erhebungsmethoden
(leitfadengestützte Intensivinterviews, Beobachtung, standardisierte schriftliche Befragung)umfasste.
Entwicklung und Umsetzung eines gendersensitiven kontinuierlichen M&E-Systems für das Plan Indien Projekt „ENGENDERED! – Minimizing Gender Gap“
Ziel des von Plan International Indien umgesetzten Projekts ist es, die strukturellen Ursachen für die Benachteiligung von Frauen in der indischen Gesellschaft zu identifizieren und zu beseitigen. Hierfür sollen alle Projektverantwortlichen der Partnerorganisationen zur Umsetzung gender-gerechter Maßnahmen sowie zum Monitoring und zur Evaluation der damit erzeugten Wirkungen befähigt werden.
Aufgabe des CEval war es, die Entwicklung überprüfbarer Wirkungshypothesen zu unterstützen, gemeinsam mit den Verantwortlichen ein praktikables M&E-System zu erarbeiten sowie eine Zwischen- und eine Abschlussevaluation umzusetzen. Hierfür wurde zu Beginn des Projekts Ende 2008 ein Workshop durchgeführt, in dem der zuvor von Plan Indien entwickelte LogFrame diskutiert und im Hinblick auf die Messbarkeit der darin enthaltenen Indikatoren überarbeitet wurde. Als weitere Maßnahmen wurden 2009 eine Schulung vor Ort sowie weitere Beratungsleistungen im Projektverlauf durchgeführt. 2015 führte das CEval eine Abschlussevaluation des Projektes durch.
InWEnt Training zu Qualitätsmanagement, Monitoring und Evaluation im TVET Bereich (2006)
Im Rahmen des Trainings wurden Module zu Qualitätsmanagement, Monitoring, Evaluation, Datenerhebungsmethoden, Datenauswertung sowie Reporting mit dem Schwerpunkt auf Berufsbildung angeboten.
InWEnt Training zu M&E im Kontext von BTVET in Uganda
Im Rahmen des Trainings wurden Module zu Monitoring, Evaluation, Datenerhebungsmethoden und Datenauswertung sowie Reporting angeboten. Außerdem fand ein Backstopping von InWEnt Alumni zum Thema M&E statt. Datenerhebungsmethoden mit Schwerpunkt Durchführung von standardisierten Befragungen wurden ebenfalls behandelt.
Entwicklung eines M&E Konzepts für das TVET Reform Program in Cairo, Ägypten
Im Rahmen des Auftrages wurde ein M&E Konzept für das TVET Reform Programm in Cairo, Ägypten entwickelt. Zudem fand ein Backstopping der verantwortlichen M&E Expertin vor Ort in M&E Fragen statt.
Evaluation des Projekts: „Community Development in Maharashtra“
Seit 2004 fördert die AWO International e.V. das Projekt „Community Development in Maharashtra“ (Indien), durch das mit Hilfe eines partizipativen und nachhaltigen Managements der zur Verfügung stehenden natürlichen Ressourcen die Lebensgrundlage der armen ländlichen Bevölkerung in der Region gesichert werden soll. Hierfür wurden, in Kooperation mit ausgewählten Grassroots- und Gemeindeinstitutionen den Zielgruppen landwirtschaftliche Produktionsverfahren sowie Kompetenzen zur Selbstbestimmung und -regulierung vermittelt.
Im Rahmen der Evaluation sollte u.a. festgestellt werden, inwieweit die einzelnen Maßnahmewirkungen einen Beitrag zur Oberzielerreichung leisteten und wie effizient die dabei eingesetzten Mittel genutzt wurden. Darüber hinaus sollten die Zielgruppenangepasstheit sowie die zu erwartende Nachhaltigkeit der Projektwirkungen überprüft und mögliche Anknüpfungspunkte zu den politischen Strategien zur Unterstützung der Zielgruppen identifiziert werden.
Forschungsstudie: „Wirkungsevaluierungen/Impact Evaluations – Zum aktuellen internationalen Stand der Diskussion und dessen Relevanz für deutsche EZ-Evaluierungen“
Im Rahmen der Forschungsstudie wurde die aktuelle internationale Diskussion über „(Rigorous) Impact Evaluations“ und deren Durchführung im Rahmen der Entwicklungszusammenarbeit eingehend analysiert. Im Vordergrund standen dabei experimentelle bzw. quasi-experimentelle Designs und die verschiedenen Verfahren zur Bildung von Kontroll- oder Vergleichsgruppen. Methodisch wurden zentrale Dokument, Internetauftritte und Workshopdokumente relevanter Akteure analysiert.
Begleitende Evaluation des Projekts „Kopal II“
Das zu evaluierende Projekt zielte auf die Schaffung eines Bewusstseins in Politik und Medien zur Eindämmung des Problems der pränatalen Geschlechtsbestimmung und anschließenden Abtreibung weiblicher Föten sowie einer dauerhaften Verhaltensänderung in der Bevölkerung hinsichtlich der Thematik in vier nordindischen Bundesstaaten. Aufgabe der begleitenden Evaluation war es, die wesentlichen Erfahrungen aus der bisherigen Umsetzungsphase zu analysieren und zu dokumentieren. Weiterhin sollten auf Grundlage der Untersuchungsergebnisse Empfehlungen für die weitere Projektgestaltung entwickelt und der konkrete Nutzen der Erkenntnisse für die Strategien und Programme der Trägerorganisation und ihrer Partner aufgezeigt werden. Methodisch stützte sich die Untersuchung auf eine Begutachtung vorliegender Projektdokumente sowie auf die Durchführung qualitativer Intensivinterviews zur vertiefenden Analyse der Einschätzungen und Erfahrungen aller Projektbeteiligten.
GTZ-Rahmenvertrag 2007/2008 zur Durchführung von Fremdevaluationen von Projekten und Programmen der technischen Zusammenarbeit
Die Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) GmbH hatte ihr bestehendes Evaluierungssystem 2005 mit der Einführung von Ex-post Evaluierungen vervollständigt und ließ seither im Auftrag des BMZ jährlich weltweit ca. 30 Fremdevaluierungen in dessen Kooperationsländern durch unabhängige wissenschaftliche Institute und Consultingunternehmen evaluieren (je ca. zehn Evaluierungen laufender Vorhaben, zehn Schluss- und zehn ex-post Evaluierungen). Hierfür war u.a. mit dem CEval ein zweiter Rahmenvertrag für 2007/2008 geschlossen worden.
Im Rahmen des Auftrages führte das Ceval 2007 sechs der 30 Evaluationen durch. Zwei der Vorhaben evaluierten CEval-Mitarbeiter selbst, die übrigen Evaluationen wurden unter der Leitung von Frau Dr. Alexandra
Caspari und der Koordination von Nicolà Reade von zehn Gutachtern aus dem In- und Ausland umgesetzt:
Die Fremdevaluationen dienten in erster Linie dem Zweck der Rechenschaftslegung, darüber hinaus flossen die Erkenntnisse in das Wissensmanagement der GTZ ein und wurden für die Weiterentwicklung von Konzepten und die Gestaltung künftiger Vorhaben genutzt.
Ziel der Evaluationen war es entsprechend, fundierte Aussagen zum Erfolg der Projekte und Programme zu liefern, der auf der Grundlage einheitlicher Evaluationskriterien beschrieben und bewertet wurde. Diese waren in Anlehnung an OECD/DAC die entwicklungspolitische Relevanz des Vorhabens, die Effektivität sowie der Impact, die Effizienz der Mittelverwendung sowie die Nachhaltigkeit der Wirkungen.
Darüber hinaus wurden die zu evaluierenden Vorhaben jährlich wechselnden Schwerpunktthemen entnommen und entsprechende zusätzliche Evaluationsfragen formuliert, die für die weitere Konzept- und
Sektorentwicklung relevant erscheinen und eine vergleichende und übergreifende Auswertung der Evaluationsergebnisse
ermöglichten.
Evaluation des Moduls “Famulaturen und PJ-Abschnitte“ des DAAD-Ärzteprogramms/ PAGEL
Gegenstand der Evaluation war das Modul Famulaturen und PJ-Abschnitte des DAAD-Ärzteprogramms/ PAGEL. Im Rahmen dieses Moduls wurden Medizinstudierenden deutscher Hochschulen aus Entwicklungsländern ein- bis zweimonatige Famulaturen bzw. viermonatige PJ-Tertiale in ihren Heimatländern oder anderen Entwicklungsländern ermöglicht. Durch diesen Aufenthalt hatten die Studierenden die Möglichkeit, sich mit der beruflichen Realität und den benötigten medizinischen Kompetenzen im Heimatland vertraut zu machen. Dies sollte letztendlich nach Abschluss des Studiums deren Rückkehr fördern, deren Reintegration erleichtern und somit dem brain drain entgegenwirken.
Im Rahmen der Evaluationsstudie wurde die Zielerreichung und Wirkung des Moduls Famulaturen und PJ-Abschnitte untersucht. Ziel der Evaluation war es, Optimierungspotentiale für die laufende Programmentwicklung herauszuarbeiten. Dabei wurde besonderes Augenmerk auf die am Ärzteprogramm beteiligten Universitäten und deren Interesse an diesem Modul gelegt.
Aus den Erkenntnissen der Evaluation wurden konkrete Schlussfolgerungen und Empfehlungen für die Programmausschreibung des Ärzteprogramms/ PAGEL im Frühjahr 2011 abgeleitet.