Durchführung Fremdevaluationen – Rahmenvertrag
Die GTZ hat 2005 ihr bestehendes Evaluierungssystem mit der Einführung von Schluss- und Ex-Post Evaluierungen vervollständigt. In diesem Zusammenhang wurden 2005 / 2006 Rahmenverträge mit verschiedenen Institutionen geschlossen, in dessen Rahmen die Evaluationen von ca. 34 Einzelvorhaben in verschiedenen Regionen und Themenbereichen durchgeführt wurden.
Die GTZ hat mit dem CEval einen Rahmenvertrag geschlossen, auf dessen Basis in 2005 im Rahmen einer ersten Pilotphase zwei Projekt ex-post evaluiert wurden:
- Ex-Post Evaluation des GTZ-Programms Umweltmanagement für Stadtentwicklung in Thailand
- Ex-Post Evaluation des Programms Slumsanierung in Nagpur, Indien
In 2006 wurden im Kontext des Rahmenvertrages vom CEval die Evaluationen von 10 Einzelvorhaben in 9 Ländern koordiniert. Drei der Evaluationen wurden von CEval-MitarbeiterInnen durchgeführt. Die übrigen Evaluationen wurden unter der Leitung und Koordination von Frau Dr. Alexandra Caspari von ca. 20 GutachterInnen aus dem In- und Ausland umgesetzt.
- Ex-Post Evaluation des GTZ- Forstvorhaben Schwarzer Fluss in Vietnam
- Ex-Post Evaluation des GTZ-Vorhabens KV-Kommunale Waldbewirtschaftung Quirino auf den Philippinen
- Evaluation des laufenden GTZ-Vorhabens in Asien NA: Regionales Forstvorhaben & South Pacific Community
- Ex-Post Evaluation des GTZ-Vorhabens Modernisierung des Steuersystems in der Dominikanischen Republik
- Schlussevaluation des GTZ-Vorhabens Dezentralisierung und Regionalplanung in der Dominikanischen Republik
- Ex-Post Evaluation des GTZ-Vorhabens Modernisierung der Steuerverwaltung in Rumänien
- Schlussevaluation des GTZ-Vorhabens Tropenwaldrelevantes Ressourcenschutzprogramm in Ruanda
- Schlussevaluation des GTZ-Vorhabens Erhaltung des Schutzgebietes Osa in Costa Rica
- Schlussevaluation des GTZ-Vorhabens Regionalentwicklung Lovetsch in Bulgarien
- Evaluation des laufenden GTZ-Vorhabens
NAMARES Nachhaltiges Management natürlicher Ressourcen in Ecuador
Evaluierung der Berufsbildungssituation der Provinz Gansu in der VR China
Im Zuge der Neuordnung der Projekte der HSS in der VR China hinsichtlich einer bildungspolitischen Systemberatung wurde die Situation der beruflichen Bildung in der Provinz Gansu evaluiert.
Wirkungsanalyse ausgewählter Berufsbildungsprojekte der chinesisch-deutschen Entwicklungszusammenarbeit in der VR China
In dieser Studie wurde herausgearbeitet, inwieweit die unterschiedliche Wirksamkeit von Berufsbildungsprojekten in der VR China auf unterschiedliche Förderkonzepte, Strategien, Vorgehensweisen und Handlungsbedingungen der beiden Organisationen GTZ und HSS zurückgeführt werden kann. Aus der vergleichenden Betrachtung wurden Empfehlungen für die Entwicklungspolitik im Hinblick auf die eingesetzten Förderstrategien und unterschiedlichen Arbeitsweisen der beiden Durchführungsorganisationen abgeleitet.
Wissenschaftliche Begleitung der BMZ Wirkungsuntersuchung abgeschlossener Vorhaben der deutschen EZ
Vor dem Hintergrund steigenden Interesses an der langfristigen Wirksamkeit der deutschen Entwicklungszusammenarbeit (EZ) sowie einem Beschluss des Deutschen Bundestages startete das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) 1997 eine groß angelegte Studie „Wirkungsuntersuchung abgeschlossener Vorhaben der deutschen EZ“. Ziel der Studie war es, erstmals durch eine breit angelegte Untersuchung empirisch abgesicherte Aussagen zu langfristigen Wirkungen der deutschen EZ zu gewinnen. Zu diesem Zweck wurden 1999 Einzelevaluationen von 32 Projekten in den jeweiligen Empfängerländern durchgeführt.
Gutachten “Neuere Verfahren und Konzepte im Rahmen der Wirkungsanalyse“
Evaluation des DAAD / BMZ Programms „Nachbetreuung ehemaliger Studierender aus Entwicklungsländern“
Evaluation “Einzelmaßnahmen zur entwicklungspolitischen Informations- und Bildungsarbeit“
Gegenstand der durchgeführten Evaluation waren drei Einzelmaßnahmen, die aus Mitteln des BMZ gefördert wurden. Zentrale Fragestellung der Evaluation war, inwieweit die drei Einzelmaßnahmen einen sinnvollen Beitrag zur entwicklungspolitischen Bildungsarbeit leisten und ob bzw. inwieweit sie sich in ihren Tätigkeiten oder in den anvisierten Zielgruppen überschneiden. Ziel der Evaluation war es, dem BMZ eine angemessene Grundlage zu bieten, um die Angebote und Dienstleistungen sowie die Zielgruppen der drei Einrichtungen adäquat einschätzen zu können.
Gemäß der Fragestellung und im Sinne der Methoden-Triangulation wurden verschiedene Formen der Datenerhebung genutzt: Eine Sektoranalyse sollte einen Überblick über die Rahmenbedingungen der entwicklungspolitischen Bildungsarbeit in Deutschland sowie einen Überblick über weitere relevante Akteure im Bereich der entwicklungspolitischen Bildungsarbeit und deren Informations- und Dienstleistungsangebote geben, um die Angebote und Zielgruppen der drei untersuchten Einrichtungen einschätzen zu können. Im Rahmen von Vor-Ort Besuchen der drei Einrichtungen wurden mit verschiedenen Mitarbeitern Intensivinterviews geführt sowie sämtliche zur Verfügung gestellten Materialien gesichtet. Auf dieser Grundlage wurden im möglichen Rahmen Kosten-Nutzen-Berechnungen erstellt. Darüber hinaus wurden leitfadengestützte Telefoninterviews mit weiteren relevanten Personen geführt. Um insbesondere die Nutzung sowie die Qualität und den Nutzen der Angebote und Dienstleistungen der drei Einrichtungen untersuchen zu können, wurde eine Online- Befragung verschiedener Personengruppen durchgeführt.
Weiterbildungsmaßnahmen zu Training Needs Assessment
im Engineering Capacity Building Project in Äthiopien
Entwicklung eines Monitoring Systems im Projekt „Vocational Qualification and Employment Promotion in the Western Regions of China“
Im Rahmen des Auftrages wurde ein wirkungsorientierten Monitoringsystem mit den Projektverantwortlichen aufgebaut. U.a. wurde das Monitoringsystem konzipiert (inklusive Indikatorenformulierung, Planung der Datenerhebung), Mitarbeiter geschult, Datenerhebungsinstrumente entwickelt, Daten erhoben und ausgewertet für Management entscheidungen. Zudem wurde ein Handbuch für die Projektmitarbeiter verfasst, das sich detailliert mit den einzelnen Schritten im wirkungsorientierten Monitoring befasst.
Ex-Post Evaluation des GTZ-Projekts „Slumsanierung Nagpur, Indien“
Gegenstand der Evaluation war ein GTZ-Projekt zur Slumsanierung in Nagpur, Indien, das einen wichtigen Beitrag zur Verbesserung der Lebensbedingungen in den Slums und informellen Siedlungen Nagpurs leisten sollte. Der deutsche Beitrag war darauf ausgerichtet, die Stadt Nagpur darin zu unterstützten, eine eigenständige und nachhaltige Sanierungspolitik unter Beteiligung von Bewohnerorganisationen in den unterversorgten Siedlungen zu betreiben. Eines der wesentlichen Elemente der Zusammenarbeit sollte dabei die Bündelung lokaler Initiativen und bestehender nationaler oder regionaler Förderungsprogramme bewirken.
Hintergrund der Evaluation war die Einführung von Schluss- und Ex-Post Evaluationen bei der GTZ. Im Rahmen eines Pilotversuches werden zunächst 8 Evaluationen von Projekten zum Jahresthema der GTZ „Die Stadt von morgen“ durchgeführt.
Das hier evaluierte Projekt gehörte zu dieser Stichprobe. Die Evaluation sollte in erster Linie der Rechenschaftslegung dienen, darüber hinaus sollten die Erkenntnisse in das Wissensmanagement der GTZ einfließen und für die Weiterentwicklung von Konzepten und die Gestaltung künftiger Vorhaben genutzt werden.
Zentrale Fragestellung und Ziel der Evaluation war entsprechend fundierte Aussagen zum Erfolg des Projektes zu liefern, der auf der Grundlage vorgegebener Evaluationskriterien beschrieben und bewertet wurde. Diese waren die mit dem Vorhaben erreichten Wirkungen, die Effizienz der Mittelverwendung, die entwicklungspolitische Relevanz und Signifikanz, die Kohärenz sowie die Nachhaltigkeit der Wirkungen (in Anlehnung an OECD/DAC).
Ferner sollten die Evaluierungen bzgl. des ausgewählten entwicklungspolitischen Themas „Die Stadt von morgen“ Auskunft über weitere zusätzliche Fragen geben, die für die weitere Konzept- und Sektorentwicklung von Relevanz sind und auch eine vergleichende und übergreifende Aussage zu allen Evaluierungen ermöglichen sollen:
- Welchen Beitrag leistete das Vorhaben zur Erzielung von Wirkungen auf der Ebene der MDGs, insbesondere MDG 7, Teilziel 11?
- Welche Auswirkungen hatte der Mehrebenenansatz (Stadtteilebene, Gesamtstadtebene, übergeordnete Ebenen) und die Mehrdimensionalität des Vorhabens (technisch, sozial, räumlich, ökonomisch, ökologisch) auf die Nachhaltigkeit der Wirkungen des Vorhabens?
- Inwieweit gab es Synergieeffekte durch die Kombination von TZ und Finanzierung durch Dritte, welche Bedingungen waren hierfür ausschlaggebend?
Ein dritter Bearbeitungspunkt betraf das Konzept der Ex-post Evaluation, die Methodik und das Raster für die Erfolgsbewertung, was auf der Grundlage der Erfahrungen konstruktiv-kritisch bewertet werden sollte.