Hochschulkooperation mit der Universität von Costa Rica (UCR) (2012-2015)
Nach einer erfolgreichen dreijährigen Zusammenarbeit zwischen dem Centrum für Evaluation (CEval) der Universität des Saarlandes und der Universität von Costa Rica (UCR) zur Weiterentwicklung des seit 1995 an der UCR implementierten Masterstudiengangs in Evaluation von Projekten und Programmen zur sozialen Entwicklung (MEPPD), planten die beiden Universitäten ab 2011 die Intensivierung und Vertiefung ihrer Kooperation. Der DAAD, der durch sein Beraterprogramm seit 2008 bereits die vorangegangene Zusammenarbeit der beiden Hochschulen finanziell unterstützt hatte, begrüßte dieses Vorhaben. Aus diesem Grund förderte er von 2012 bis 2015 über sein Programm „Fachbezogene Partnerschaften mit Hochschulen in Entwicklungsländern“ auch die zweite Phase der Kooperation zwischen UCR und UdS.
Gemäß der Zielsetzung des DAAD-Programms, durch den akademischen Austausch eine Verbesserung der Lehrsituation zu erreichen und einen Beitrag zum Aufbau von nachhaltigen Strukturen im Bereich der Lehre im Partnerland zu leisten, bildete der Austausch von Studierenden, Promovierenden und Dozierenden einen Schwerpunkt der vierjährigen Kooperation. Weiterhin standen die Öffnung des MEPPD für den zentralamerikanischen Raum (Regionalisierung), die Anpassung der Lehre im Masterstudiengang Evaluation der UCR an die regionale Nachfrage und die daraus abgeleiteten Ausbildungsbedürfnisse (Profilierung) sowie die Einbindung der Hochschulkooperation in bestehende internationale Netzwerke (Internationalisierung) im Mittelpunkt der engeren Zusammenarbeit. Durch die vierjährige Zusammenarbeit konnte die Praxis- und Bedarfsorientierung des MEPPD gestärkt, bestehende regionale und internationale fachliche Netzwerke etabliert bzw. erweitert sowie die Kapazitäten in Lehre und Forschung ausgebaut werden.
Eine Fortsetzung der Kooperation unter Aufnahme einer weiteren Hochschule aus dem lateinamerikanischen Raum ist für 2017 vorgesehen.
Evaluation der Arbeit der Deutschen UNESCO-Kommission
Die UNESCO fordert von ihren Mitgliedsstaaten die Einrichtung nationaler Kommissionen, die zu einer effektiveren Ausgestaltung der Mitgliedschaft beitragen sollen. Dementsprechend hat die Bundesrepublik Deutschland die Deutsche UNESCO-Kommission e.V. (DUK) eingerichtet. Neben Beratungsaufgaben von Regierung und Parlament bearbeitet die DUK gemäß ihrer Satzung weitere Aufgaben wie bspw. die Mitwirkung an der Ausgestaltung der Mitgliedschaft Deutschlands in der UNESCO, die Förderung internationaler Verständigung, die Leistung eines Beitrags zur friedenssichernden Arbeit der UNESCO oder das Unterrichten der Öffentlichkeit über die Zwecke und die Arbeit der DUK.
Das Centrum für Evaluation (CEval) wurde mit der Evaluation der Arbeit der DUK beauftragt und bearbeitete dabei unterschiedliche Aufgabenstellungen. So wurde eine Bewertung der von der DUK erbrachten Beratungsleistungen für die Bundesregierung und das Parlament vorgenommen. Zudem wurden die Ziel- und Steuerungssysteme der DUK analysiert sowie die Arbeitsabläufe innerhalb der DUK einer Prozessanalyse unterzogen. Schließlich wurden unterschiedliche Programmbereiche wie die „Kontaktstelle kulturelle Vielfalt“, das Kooperationsprojekt mit afrikanischen Nationalkommissionen und die Aktivitäten der DUK im Zusammenhang mit den „UNESCO-Biosphärenreservaten“ evaluiert. Die Ziele der Evaluation leiteten sich aus ihren Aufgabenstellungen ab und bestanden unter anderem in der Entwicklung erkenntnisbasierter Empfehlungen zur Optimierung des Beitrags der DUK im Hinblick auf das Ziel der Bundesregierung, die Rolle Deutschlands in der UNESCO zu stärken und zur Optimierung der Zielerreichung der DUK. Zudem sollte die Evaluation zur Optimierung der Arbeitsabläufe hinsichtlich Wirtschaftlichkeit, Prozess- und Produktqualität, Wirksamkeit und Relevanz sowie zur Optimierung der Instrumente zur Erfolgsmessung, u.a. im Hinblick auf die Notwendigkeit der Rechenschaftslegung gegenüber dem Auswärtigen Amt, beitragen. Die Herangehensweise des CEval ist grundsätzlich theoriegeleitet. Mit Blick auf die Validität der Forschungsergebnisse waren für die Evaluationskonzeption sowohl theoretische Modelle als auch methodische Grundannahmen bedeutsam. Auf der theoretischen Ebene war im Hinblick auf den Evaluationsgegenstand vor allem das organisationstheoretische Wirkungsmodell von besonderem Interesse. Aus methodischer Sicht kamen ein Multimethodenansatz sowie der partizipative Evaluationsansatz des CEval zur Anwendung.GTZ/ GIZ-Rahmenvertrag zur Durchführung von Unabhängigen Evaluierungen und Wirkungsevaluierungen von Programmen der technischen Zusammenarbeit
Die Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) GmbH hatte ihr bestehendes Evaluierungssystem 2005 mit der Einführung von Ex-post Evaluierungen vervollständigt und ließt seitdem im Auftrag des BMZ jährlich weltweit ca. 25-30 Unabhängige Evaluierungen (UE) in dessen Kooperationsländern durch unabhängige wissenschaftliche Institute und Consultingunternehmen durchführen. Der in diesem Zusammenhang mit dem CEval 2005 erstmalig geschlossene Rahmenvertrag war in den darauffolgenden Jahren kontinuierlich verlängert worden, so dass bis dato 30 Vorhaben der technischen Zusammenarbeit durch das CEval evaluiert wurden.
Im Zentrum der Evaluationsvorhaben stand nach der erfolgreichen Erprobung in 2008 und 2009 die Weiterentwicklung eines durch das CEval entwickelten Analysekonzepts, welches sich an den theoretischen Modellen und methodischen Verfahrensweisen des „Rigorous-Impact-Evaluation“-Ansatzes (RIE) orientiert. Kern dieses Ansatzes ist eine hypothesengeleitete Ursache-Wirkungsmessung, ein quasi-experimentelles Untersuchungsdesign (Vorher-Nachher-Messung, Vergleich von Ziel- und Nicht-Zielgruppe), die Kombination unterschiedlicher quantitativer und qualitativer Erhebungsverfahren (Multi-Methoden-Ansatz) sowie die Anwendung elaborierter Matching- und Datenauswertungsmethoden einschließlich multivariater statistischer Verfahren. Durch diese Vorgehensweise wurde eine kausale Zuschreibung der in einem Untersuchungsgebiet eingetretenen (wirtschaftlichen, gesellschaftlichen, ökologischen etc.) Veränderungen und somit eine valide und reliable Wirkungsmessung ermöglicht.
Im Jahr 2010 führte das CEval vier Evaluierungen im Schwerpunktsektor „Berufliche Bildung“ und in 2011 zwei Evaluierungen in im Bereich „Gesundheit“ durch. Für ein Vorhaben in der Mongolei wurde von CEval-Mitarbeitern eine methodisch anspruchsvolle Wirkungsevaluierung und für ein anderes Programm in Südafrika wurde erstmalig eine ex-ante Evaluierung realisiert, indem eine Bedarfsanalyse, ein Impact Assessment und eine Baseline-Studie durchgeführt wurden. Des Weiteren wurde im Rahmen der ex ante Evaluierung die Wirkungslogik des Programms entwickelt sowie ein Konzept für zukünftiges Wirkungsmonitoring erarbeitet.
Die weiteren vier Evaluierungen wurden zwischen 2010 und 2011 unter der Koordination von Sonja Wolf von externen Gutachtern aus dem In- und Ausland umgesetzt.
2010 handelte es sich um folgende TZ-Vorhaben:
2011 handelte es sich um folgende TZ-Vorhaben:
Hands-On Methods to Measure Development Effectiveness and Enhancing Knowledge-Sharing
Ziel des Vorhabens war die Stärkung der Kompetenzen der Programmpartner des United Nations International Fund for Agricultural Development (IFAD) in Ländern der North Africa Division im Bereich Monitoring und Evaluation (M&E). In einer ersten Phase wurden hierzu im Rahmen zweier Pilotstudien in Süd-Sudan und Albanien die dort eingesetzten Monitoring- und Evaluationsverfahren auf ihre Angemessenheit und Vollständigkeit hin untersucht und zu umfassenden M&E-Systemen weiterentwickelt. Die dabei gewonnenen Erkenntnisse hinsichtlich Ergebnisqualität und Handhabbarkeit wurden anschließend systematisch aufbereitet und in einem zweiten Schritt auf ihre Übertragbarkeit auf andere Länder hin untersucht. Damit sollten weitere Projektträger und nationale Institutionen in die Lage versetzt werden, eigenständig Daten zu erheben, zu analysieren und zu bewerten, die ihnen Aufschluss über die Wirkungen und Nachhaltigkeit ihrer Projekte geben.
Schließlich wurden daraus praktische Handlungsleitfäden für die Erfassung von Wirkungen von Programmen in den Bereichen ländliche Entwicklung und Armutsminderung entwickelt und im Rahmen von überregionalen Informationsveranstaltungen sowie im Internet weiter verbreitet. Bei dem Vorhaben kooperierte das CEval mit der Arbeitsgemeinschaft Entwicklungspolitischer Gutachter (AGEG), die ihrerseits hierfür Sektorexpert:innen einsetzte.
Zwischenevaluierung des InWEnt-Programms „Dialogforen mit Ankerländern – Auf dem Weg zu einer globalen Partnerschaft (2008-2010)“
Gegenstand der Zwischenevaluierung waren die seit 2008 von InWEnt durchgeführten Maßnahmen im Rahmen des Programms „Dialogforen mit Ankerländern“, welche eine Intensivierung des internationalen Erfahrungsaustauschs zu den aktuellen globalen Herausforderungen im Finanzsektor und im Bereich der Klimaentwicklung zum Ziel haben. Auf der Programmzielebene geht es darum, politische Gestaltungsspielräume für kooperative Politikansätze zur Wahrung der beiden globalen öffentlichen Güter „Begrenzung des Klimawandels und Stärkung der internationalen Finanzmarktstabilität“ zu vergrößern. Im Rahmen von Dialogforen sollen die Teilnehmer dazu befähigt werden, ihre Regierungen in der Wahrnehmung ihrer internationalen Verantwortung zur Sicherung dieser Güter durch eine konstruktive Mitgestaltung in formellen Global Governance Strukturen zu unterstützen.
Ziel dieser Untersuchung war es, auf der Basis der Analyse- und Bewertungsergebnisse eine Entscheidungsgrundlage für die von InWEnt beantragte Programmfortsetzung in den Jahren 2011/2012 zu erhalten. Entsprechend den DAC-Kriterien wurden die Effektivität, die Effizienz und die Nachhaltigkeit des Programms bewertet sowie Empfehlungen zur Kohärenz, Koordination und Komplementarität mit den Maßnahmen anderer deutscher Geber formuliert. Des Weiteren galt es die bislang erzielten Ergebnisse im Hinblick auf ihre Relevanz sowie ihre mittel- und langfristige Wirkung hin zu untersuchen.
Methodisch basierte die Evaluation auf Sekundär- und Dokumentenanalysen, ca. 50 leitfadengestützten Intensivinterviews, zwei teilstandardisierten Online-Befragungen aller Dialogforen-Teilnehmer beider Komponenten sowie auf der Teilnahme an zwei Dialogforen in China.
GTZ-Rahmenvertrag 2007-2009 zur Durchführung von Unabhängigen Evaluierungen und Wirkungsevaluierungen von Programmen der technischen Zusammenarbeit
Die Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) GmbH hat ihr bestehendes Evaluierungssystem 2005 mit der Einführung von Ex-post Evaluierungen vervollständigt und lässt seither im Auftrag des BMZ jährlich weltweit ca. 25-30 Unabhängige Evaluierungen (UE) in dessen Kooperationsländern durch unabhängige wissenschaftliche Institute und Consultingunternehmen evaluieren (je ca. zehn Evaluierungen laufender Vorhaben, zehn Schluss- und zehn ex-post Evaluierungen). Hierfür wurde u.a. mit dem CEval ein zweiter Rahmenvertrag für die Jahre 2007 bis 2009 geschlossen.
Im Rahmen des Auftrages führte das CEval im Auftrag der GTZ in diesem Zeitraum 15 Unabhängige Evaluierungen und Wirkungsevaluierungen in den Sektoren Energie, Wasser, Mikrofinanzen und Berufliche Bildung durch.
Vier der Vorhaben evaluierten CEval-Mitarbeiter als Wirkungsevaluationen zur Erprobung eines durch das CEval erstellten Konzepts, zur methodisch anspruchsvolleren Wirkungsmessung im Rahmen von GTZ Unabhängigen Evaluierungen in Anlehnung an Rigorous Impact Evaluations (RIE). Prämisse des Konzepts war die Berücksichtigung des Leitfadens zur Erfolgsbewertung von GTZ unabhängigen Evaluierungen und der Alltagstauglichkeit, d.h. die Durchführung unter vertretbarem zeitlichem und finanziellem Rahmen. Das methodische Konzept beinhaltete: (a) Hypothesengeleitete Ursache-Wirkungsuntersuchung unter Berücksichtigung der GTZ Wirkungskette, (b) Quasiexperimentelles Forschungsdesign mit Vorher-Nachher Ansatz sowie Ziel- und Vergleichsgruppenansatz, (c) Multi-Methoden-Ansatz mit Berücksichtigung einer standardisierten Zielgruppenbefragung und (d) Adäquate Datenauswertungsmethoden (Einsatz von uni- und multivariaten statistischen Analyseverfahren). Wirkungen/Veränderungen sollten zu den Messzeitpunkten t1 (Ausgangssituation) und t2 (Zeitpunkt der Evaluation) identifiziert und die kausale Zuschreibung zum Evaluationsgegenstand (kausale Ursache-Wirkungszuschreibung) ermöglicht werden.
Alle weiteren elf Evaluierungen wurden unter der Koordination von Nicolà Reade und Stefan Silvestrini von CEval-Mitarbeitern sowie externen Gutachtern aus dem In- und Ausland umgesetzt.
Zu den Evaluierungen und Wirkungsevaluierungen in 2007 bis 2009 gehörten:
- Laufende Evaluierung der GTZ Entwicklungsmaßnahme „Förderung produktiver Kleinwasserkraftnutzung, Nepal“ (2007)
- Laufende Evaluierung der GTZ Entwicklungsmaßnahme „ProBEC Effiziente Nutzung von Biomassenenergie im Südlichen Afrika“ (2007)
- Schluss Evaluierung der GTZ Entwicklungsmaßnahme „Förderung von Klein- und Mittelunternehmen, Mongolei“ (2007)
- Ex-post Evaluierung der GTZ Entwicklungsmaßnahme „Beratung zur Förderung der rationellen Energieverwendung (DEDP), Thailand“ (2007)
- Ex-post Evaluierung der GTZ Entwicklungsmaßnahme „Energieeinsparung in Klein- und Mittelindustrie im Bundesstaat Rio de Janeiro, Brasilien“ (2007)
- Ex-post Evaluierung der GTZ Entwicklungsmaßnahme „Förderung der Energieeffizienz in Gebäuden in Erzurum, Türkei“ (2007)
- Laufende Wirkungsevaluierung des KV Programms „Entwicklung des Wassersektors, Kenia“ (2008)
- Laufende Wirkungsevaluierung des KV „Programms für die Reform des Wassersektors, Sambia“ (2008)
- Ex-post Wirkungsevaluierung des GTZ Vorhabens „Qualifizierung kommunaler Dienste (TODAIE), Türkei“ (2008)
- Laufende Evaluierung des KV Programms „Trinkwasser- und Sanitärprogramm PROAGUA, Peru“ (2008)
- Schluss Evaluierung des KV Programms „Verbesserung der Wasserversorgung in der Volta- und Eastern-Region, Ghana“ (2008)
- Schluss Evaluierung des GTZ Vorhabens „Wassereinzugsgebiets-Management, Rio Lerma im Tal von Toluca und Rio Balsas, Mexiko“ (2008)
- Gemeinsame Ex-post Wirkungsevaluierung des Vorhabens „TESDA, Philippinen“ (2009)
- Zwischenevaluierung des Projekts „Unterstützung des Ukrainischen Finanzwesens“ (2009)
- Ex-post Evaluierung des KV Programms „Finanzsystementwicklung, Bolivien“ (2009)
Datenauswertung und Evaluation der Aktivitäten der DW-AKADEMIE in Albanien
Für die Deutsche Welle evaluierte das Centrum für Evaluation die Aktivitäten der Deutsche Welle-AKADEMIE in Albanien. Dabei wurden zwölf Kurse für albanische Radiosender zu den übergreifenden Themen Journalismus und Management durchgeführt. Im Rahmen der Datenauswertung und Evaluation wurden die quantitativen und qualitativen Daten der Seminarbeurteilungen der Kurse nach Journalismus- und Management-Kursen getrennt ausgewertet. Weiterhin wurden telefonische Kurzinterviews mit sechs bis sieben Trainern geführt und eine teilstandardisierte Online-Befragung der Ansprechpartner der albanischen Partnersender realisiert. Ziel der Evaluation war über die deskriptive, summative Auswertung der Rückmeldungen hinaus die Ableitung von Empfehlungen zur Durchführung derartiger Trainings.
Wirkungsstudie: Armutsminderung im Ländlichen Raum durch Fairtrade
Fairtrade zielt darauf ab, den Fairen Handel zu stärken und möchte es Kleinbauern und Plantagenangestellten in Afrika, Lateinamerika und Asien ermöglichen, von der angestammten Produktion zu leben. Daher legen Fairtrade-Standards als Strategie zur Armutsbekämpfung u.a. ein stabiles Einkommen fest, sowie Grundsätze für Umweltschutz und Gleichstellung. Eine Fairtrade-Prämie, die für die Produkte der Kleinbauern und der zertifizierten Plantagen bezahlt wird, ermöglicht Investitionen in Entwicklungsprojekte. Die Ziele von Fairtrade sind u.a.:
- Langfristige und möglichst direkte Handelsbeziehungen von Kleinbauern aus benachteiligten Regionen des Südens in den Markt des Nordens.
- Mindestens gesetzlicher Mindestlohn, Schutzkleidung, bezahlter Urlaub und soziale Vorsorge für Angestellte auf Plantagen.
Ziel dieser Studie war es, die Wirkungen von Fairtrade auf die ländliche Entwicklung in ausgewählten Gebieten/Regionen auf Basis der neuesten Kenntnisse zur Wirkungsmessung zu identifizieren und zu bewerten. Dabei wurde folgende bisher nicht hinreichend untersuchte Hypothese überprüft: „Die Präsenz von repräsentativen Fairtrade-zertifizierten Kooperativen oder Plantagen innerhalb eines gegebenen Gebietes hat über die Fairtrade-Produzentenorganisationen (PO) hinaus eine positive Wirkung auf die ländliche Entwicklung und trägt somit zur Verbesserung der sozialen, wirtschaftlichen und ökologischen Bedingungen im ländlichen Raum bei“. Aufgabe der Wirkungsstudie war es folglich, objektive und belastbare Daten für die Diskussion der Frage, ob Fairtrade ein effektives Instrument der Armutsminderung im ländlichen Raum darstellt, zu liefern.
Methodisch basierte die Wirkungsstudie auf einer hypothesengeleiteten quasi-experimentellen Versuchsanordnung und einem Multi-Methodenansatz. In sechs Produktsektoren wurde jeweils eine Fallstudie durchgeführt: Blumen (Kenia), Kakao (Ghana), Kaffee (Peru), Bananen (Peru), Baumwolle (Indien) und Tee (Indien). Hierfür kamen folgende Datenerhebungsmethoden zum Einsatz: Sekundär- und Dokumentenanalysen, leitfadengestützte Intensivinterviews, Gruppendiskussionen, partizipative Methoden, teilnehmende Beobachtungstechniken sowie mehrere (teil-)standardisierte Zielgruppen-Befragungen. Des Weiteren wurden Inhaltsanalysen sowie deskriptive und inferenzstatistische Analyseverfahren als Datenauswertungsmethoden angewandt.
———————————————— Zum Download stehen bereit (externe Links): Die Zusammenfassung der Studie (pdf, 4 Seiten, deutsch)Evaluierung Hochschulbildung in Nicaragua und Südosteuropa 2005-2009
Gegenstand der Evaluation war die Maßnahmen zur Unterstützung des Hochschulsektors in den Schwerpunktländern der österreichischen Entwicklungszusammenarbeit (OEZA) in Südosteuropa (SOE) sowie Lateinamerika
(LA). Während der Fokus der OEZA in SOE auf arbeitsmarktorientierter Hochschulbildung und der Integration in den Europäischen Hochschul- und Forschungsraum liegt, wurden in LA vor allem Bildungsprojekte zur Stärkung von Minoritäten gefördert.
Aufgabe der Evaluation war es, die bisher erzielten Ergebnisse auf ihre Relevanz, Effektivität, entwicklungspolitische Wirksamkeit und Nachhaltigkeit hin zu untersuchen. Des Weiteren sollten die Capacity-Building Effekte bei den Partnerorganisationen sowie deren Ownership bewertet werden. Ausgehend von einer umfassenden
Dokumentenanalyse wurden hierfür im Rahmen dreier Feldstudien in Nicaragua, Serbien und dem Kosovo empirische Daten an den jeweiligen Standorten gesammelt und in einem Synthesebericht vergleichend
ausgewertet.
Ziel war es dabei insbesondere Optionen für zukünftige Interventionen, entsprechend den strategischen Zielsetzungen der OEZA in den Bereichen Hochschulbildung und Wissenschaftskooperation, im Sinne der Entwicklung eines kohärenten programmbasierten Ansatzes aufzuzeigen.
Entwicklung eines Analyserasters für EZ-Maßnahmen zur Stadtentwicklung hinsichtlich ihrer Wirkungen im politischen Raum
Die Anforderungen an die deutsche EZ, strukturelle Wirkungen in den Partnerländern zu entfalten, die zur Armutsminderung beitragen, haben auch die Ziele sowie Beratungsansätze und -methoden von Stadtentwicklungsvorhaben beeinflusst. Dabei rücken immer stärker Governance-Fragestellungen in den Mittelpunkt, was bedeutet, dass Aushandlungs- und Entscheidungsprozesse sowohl in der Stadt aber auch in übergeordnete Ebenen organisiert und nach Kriterien der guten Regierungsführung gestaltet werden müssen.
Ziel des Auftrages war die Erarbeitung eines Analyserasters, das der konzeptionellen und methodischen Weiterentwicklung des Politikberatungsansatzes in Stadtentwicklungsvorhaben dienen sollte. Hierfür wurden die erforderlichen theoretischen und inhaltlichen Grundlagen zur Erarbeitung des Analyserasters geschaffen. Das Analyseraster sollte in weiteren Gutachtereinsätzen in Stadtentwicklungsvorhaben erprobt werden. Auf Grundlage der durch die Anwendung des Analyserasters gewonnenen Erkenntnisse wurde schließlich ein Monitoring-Instrument entwickelt.
