Evaluation des Wiederaufbau- und Umsiedlungsprojekts der Caritas Schweiz in Meulaboh und Singkil (Provinz Aceh/Indonesien)
Im August und September 2008 wurden zwei von der Caritas Schweiz in der indonesischen Provinz Aceh durchgeführte
Wiederaufbau- und Umsiedlungsprojekte evaluiert. Mit den Projekten, die in Folge des Tsunami und eines anschließenden
Nachbebens im Dezember 2005 initiiert wurden, sollte ein Beitrag zur Wiederherstellung der Wohn- und Lebensbedingungen der
von den Katastrophen betroffenen Bevölkerung in zwei Siedlungsgebieten in Küstennähe (Meulaboh und Singkil)
geleistet werden. Im Zentrum des Evaluationsvorhabens stand die Untersuchung und Bewertung der Wirksamkeit der Projekte
für die Begünstigten. Ziel der Evaluationen war es zu überprüfen,
- inwieweit die Begünstigten erreicht wurden und Ihre Partizipationsmöglichkeiten angemessen waren,
- ob die Projektmaßnahmen ausreichend an den Bedarfen der Begünstigten ausgerichtet waren (Relevanz und Signifikanz),
- ob die intendierten Wirkungen in ausreichendem Maße erreicht wurden (Effektivität),
- welche weiteren Wirkungen, also auch nicht intendierte Effekte, die Projekte im gesellschaftlichen Umfeld der
Begünstigten ausgelöst haben und schließlich - inwieweit von einer Nachhaltigkeit der Wirkungen ausgegangen werden kann und welche weiteren externen Faktoren hierbei eine
Rolle spielen.
Des Weiteren wurden die lokalen Rahmenbedingungen sowie die Effizienz des Umsetzungsprozesses beleuchtet.
Anhand der Untersuchungsergebnisse wurden Empfehlungen für weiterführende Aktivitäten in den Zielregionen
entwickelt.
Im Rahmen der Evaluation kam ein Multi-Methodenansatz zur Anwendung, der die Kombination sekundäranalytischer Verfahren
Dokumentenanalyse, Analyse der Rahmenbedingungen) sowie qualitativer und quantitativer empirischer Erhebungsmethoden
(leitfadengestützte Intensivinterviews, Beobachtung, standardisierte schriftliche Befragung)umfasste.
Entwicklung und Umsetzung eines gendersensitiven kontinuierlichen M&E-Systems für das Plan Indien Projekt „ENGENDERED! – Minimizing Gender Gap“
Ziel des von Plan International Indien umgesetzten Projekts ist es, die strukturellen Ursachen für die Benachteiligung von Frauen in der indischen Gesellschaft zu identifizieren und zu beseitigen. Hierfür sollen alle Projektverantwortlichen der Partnerorganisationen zur Umsetzung gender-gerechter Maßnahmen sowie zum Monitoring und zur Evaluation der damit erzeugten Wirkungen befähigt werden.
Aufgabe des CEval war es, die Entwicklung überprüfbarer Wirkungshypothesen zu unterstützen, gemeinsam mit den Verantwortlichen ein praktikables M&E-System zu erarbeiten sowie eine Zwischen- und eine Abschlussevaluation umzusetzen. Hierfür wurde zu Beginn des Projekts Ende 2008 ein Workshop durchgeführt, in dem der zuvor von Plan Indien entwickelte LogFrame diskutiert und im Hinblick auf die Messbarkeit der darin enthaltenen Indikatoren überarbeitet wurde. Als weitere Maßnahmen wurden 2009 eine Schulung vor Ort sowie weitere Beratungsleistungen im Projektverlauf durchgeführt. 2015 führte das CEval eine Abschlussevaluation des Projektes durch.
Begleitende Untersuchung der Einführung gemeinsamer Programmvorschläge und gemeinsamer Berichterstattung in der deutschen Entwicklungszusammenarbeit
Im Zuge der Paris Declaration und der dadurch angestiegenen Anforderungen an die deutsche Entwicklungszusammenarbeit wird seit Mitte 2007 vom BMZ eine neue Verfahrensweise zur gemeinsamen Erstellung von Programmvorschlägen und Berichten eingeführt. Zielsetzung dieser neuen Verfahrensweise ist es, die Wirksamkeit der deutschen EZ durch die Verbesserung der politischen Steuerungsmöglichkeiten des BMZ zu erhöhen, die Abstimmung der DOs untereinander zu optimieren, die Effizienz der Ausgestaltung des Beitrags der deutschen EZ zur Armutsbekämpfung zu steigern sowie die Einbindung der Strategie des Partnerlandes und deren Verzahnung mit Beiträgen anderer Geber zu verbessern. Durch die Steigerung der Wirksamkeit der deutschen EZ soll ein wesentlicher Beitrag zur Erreichung der MDGs geleistet werden.
Ziel der Studie war es entsprechend, den Aufwand und Ertrag des Einsatzes gemeinsamer Programmvorschläge und gemeinsamer Berichterstattung zu analysieren sowie beabsichtigte und unbeabsichtigte Wirkungen zu ermitteln. Hierzu wurden 2008 im Rahmen zweier Länderstudien, einer mündlichen Befragung der mit der Konzeption der Verfahrensweise befassten Mitarbeiter aller staatlichen Durchführungsorganisationen sowie einer standardisierten Erhebung bei den Programmverantwortlichen Basisdaten erhoben. 2010 wurde eine weitere Erhebung realisiert, aufgrund derer die Wirkungshypothesen überprüft werden konnten.
Begleitende Evaluation der Medienhilfe für Zentralasien 2009
Bei dem Projekt „Medienhilfe für Zentralasien 2009“ handelte es sich um ein Bündel von insgesamt 5 übergreifenden Trainings und 13 Inhouse-Trainings für zentralasiatische Radiosender, die in den beteiligten Ländern der Region sowie in Deutschland durch die Deutsche Welle-AKADEMIE realisiert wurden. Ausgangspunkt für die Zusammenarbeit der Radiostationen mit der Deutsche Welle-AKADEMIE waren Zielvereinbarungen. Diese Zielvereinbarungen nahmen für die Evaluation eine wichtige Rolle ein, da die Überprüfung der Zielerreichung als Aufgabe der Evaluation auf Basis der Zielvereinbarungen erfolgte. Hierzu wurden begleitende standardisierte Befragungen der Trainingsteilnehmer durchgeführt, deren Ergebnisse zeitnah an die Deutsche Welle-AKADEMIE übermittelt wurden. Ca. 4 bis 5 Monate nach Abschluss der Einzelmaßnahmen erfolgte eine summative Abschlussbefragung der beteiligten Sender, in der die Überprüfung des Erreichens der vereinbarten Ziele im Zentrum des Interesses stand.
External consultancy advice on certain strategic issues for the NDPHS
Das 2003 gegründete Netzwerk Northern Dimension Partnership in Public Health and Social Well-Being (NDPHS) zielt auf eine Verbesserung der gesundheitlichen und sozialen Bedingungen in den Ländern des Northern Dimension Area ab und legt hierbei seinen Schwerpunkt auf die nordöstlichen Länder Europas.
Aufgabe einer bereits 2008 durchgeführten Evaluation des Netzwerks war es, die NDPHS-Aktivitäten der ersten fünf Jahre seit Bestehen des Netzwerks zu analysieren und Empfehlungen zu dessen Weiterentwicklung zu erarbeiten. Aufbauend auf den Ergebnissen dieser Evaluation wurde im Jahr 2009 eine weiterführende Beratung zur Entwicklung von Indikatoren zur Überprüfung der Zielerreichung realisiert.
Evaluation des African Good Governance Networks (AGGN)
Junge, an deutschen Hochschulen ausgebildete Afrikanerinnen und Afrikanern werden seitens des DAAD als wichtige Resource-Persons angesehen, die dazu in der Lage sind, nach ihrer Rückkehr in ihre Heimatländer in Prozessen der Entwicklung zu mehr Rechtsstaatlichkeit, Demokratie und wirtschaftlicher Prosperität eine wichtige Schlüsselrolle einzunehmen. Anfang 2007 wurde das African Good Governance Network (AGGN) unter der Schirmherrschaft des Bundespräsidenten ins Leben gerufen. Mittels dieses Netzwerks soll ein Beitrag zur Ausweitung und Vertiefung der akademischen Zusammenarbeit zwischen Afrika/Subsahara und Deutschland geleistet werden und zugleich sollen künftige afrikanische Führungskräfte im Bereich guter Regierungsführung gefördert werden. Die Mitglieder des AGGN unterstützen die Prinzipen des Good Governance, erkennen diese an und verbreiten sie aktiv.
Das AGGN kann als langfristig angelegtes Fortbildungsprogramm verstanden werden, in das jährlich bis zu zehn neue Mitglieder aufgenommen werden. Gegenwärtig verfügt das Netzwerk über 32 Mitglieder aus vierzehn afrikanischen Ländern, die sich bis zu dreimal pro Jahr zu Workshops und Seminaren treffen. Inhaltlich beschäftigen sich diese Seminare mit unterschiedlichen theoretischen und praktischen Aspekten zu Good Governance sowie auch zu verschiedenen Personal Skills. Ziel ist es, das Bewusstsein für und das Verständnis von Good Governance und der damit verbundenen gesellschaftlichen Haltung zu stärken.
Aufgabe der Evaluation war zum einen eine Bewertung der bislang erzielten Ergebnisse und Wirkungen sowie davon ausgehend die Ableitung von Handlungsempfehlungen für die Ausgestaltung weiterer Programmaktivitäten und die weitere Entwicklung des Netzwerks unter Berücksichtigung der Potenziale des Netzwerks.
Methodisch basierte die Evaluation auf Sekundär- und Dokumentenanalysen, einer standardisierten Online-Befragung aller AGGN-Mitglieder sowie einer Teilnahme an einem der Seminare der AGGN in Südafrika, in dessen Kontext die Ergebnisse der standardisierten Befragung mit den AGGN-Mitgliedern selbst diskutiert wurden.
Evaluation der Initiative „Kultur und Entwicklung“
Das Goethe-Institut fördert mit seiner Initiative „Kultur und Entwicklung“ durch spezifische Beratungs- und Bildungsprogramme Institutionen und Akteure aus Kultur, Medien und Gesellschaft vor allem in Ländern der Entwicklungszusammenarbeit. Diese Programme zielen auf berufliche Qualifizierung, beraten und fördern den Aufbau von Netzwerken und schaffen kulturelle und zivil- gesellschaftliche Plattformen.
Aufgabe der Evaluation war es einerseits, den Planungs-, Implementations- und Durchführungsprozess durch das Goethe-Institut zu analysieren und zu bewerten und andererseits eine Relevanz- und Effektivitätsanalyse vorzunehmen.
Zur Datengewinnung wurden Dokumenten- und Sekundäranalysen eingesetzt und ca. 30-40 leitfadengestützte Intensivinterviews geführt.
Handreichung Auswahl und Messung von Indikatoren im Bereich Berufliche Bildung und Arbeitsmarkt
Spätestens seit der Verabschiedung der Milleniumserklärung der Vereinten Nationen im September 2000 kam der Frage nach den Wirkungen von Entwicklungszusammenarbeit eine zentrale Bedeutung zu. Um zu ermitteln, ob eine Entwicklungsmaßnahme die erwünschten positiven Wirkungen erreicht und negative Nebenwirkungen vermeidet, wurden Indikatoren als Hilfsinstrumente eingesetzt. Die Auswahl von geeigneten Indikatoren und deren Messung stellt Verantwortliche in Vorhaben der Beruflichen Bildung oftmals vor große Herausforderungen. Das CEval entwickelte eine Handreichung zur praktikablen Herangehensweisen für die Auswahl und Messung von Indikatoren im Zusammenhang von Maßnahmen der Beruflichen Bildung für die GTZ. Dabei werden u.a. folgende Fragen beantwortet:
- Welche Indikatoren sind besonders geeignet, die klassischen Ziele von Maßnahmen der Beruflichen Bildung abzubilden?
- Welche Daten werden in welcher Qualität benötigt?
- Welche Methoden sollen zur Datenerhebung bzw. Messung angewandt werden?
- Wie kann der Forderung nach Baseline-Daten und der Ermittlung von Nettowirkungen praktikabel nachgekommen werden?
Evaluation des Projekts: „Community Development in Maharashtra“
Seit 2004 fördert die AWO International e.V. das Projekt „Community Development in Maharashtra“ (Indien), durch das mit Hilfe eines partizipativen und nachhaltigen Managements der zur Verfügung stehenden natürlichen Ressourcen die Lebensgrundlage der armen ländlichen Bevölkerung in der Region gesichert werden soll. Hierfür wurden, in Kooperation mit ausgewählten Grassroots- und Gemeindeinstitutionen den Zielgruppen landwirtschaftliche Produktionsverfahren sowie Kompetenzen zur Selbstbestimmung und -regulierung vermittelt.
Im Rahmen der Evaluation sollte u.a. festgestellt werden, inwieweit die einzelnen Maßnahmewirkungen einen Beitrag zur Oberzielerreichung leisteten und wie effizient die dabei eingesetzten Mittel genutzt wurden. Darüber hinaus sollten die Zielgruppenangepasstheit sowie die zu erwartende Nachhaltigkeit der Projektwirkungen überprüft und mögliche Anknüpfungspunkte zu den politischen Strategien zur Unterstützung der Zielgruppen identifiziert werden.
Forschungsstudie: „Wirkungsevaluierungen/Impact Evaluations – Zum aktuellen internationalen Stand der Diskussion und dessen Relevanz für deutsche EZ-Evaluierungen“
Im Rahmen der Forschungsstudie wurde die aktuelle internationale Diskussion über „(Rigorous) Impact Evaluations“ und deren Durchführung im Rahmen der Entwicklungszusammenarbeit eingehend analysiert. Im Vordergrund standen dabei experimentelle bzw. quasi-experimentelle Designs und die verschiedenen Verfahren zur Bildung von Kontroll- oder Vergleichsgruppen. Methodisch wurden zentrale Dokument, Internetauftritte und Workshopdokumente relevanter Akteure analysiert.
