Evaluation von CAPAQUA
Das Projekt CAPAQUA (Development of Educational and Research CAPacity in Eastern Africa for the Sustainable Management of AQUAatic Ecosystems) zielt darauf ab, die Kapazitäten ostafrikanischer Institutionen im Bereich Hochschulbildung, Wissenschaft und Technologie (Higher Education, Science and Technology (HEST)) zu stärken. CAPAQUA wird gemeinsam von der Universität für Bodenkultur (BOKU), Wien, dem IHE Delft Institute for Water Education, der Egerton University (EGU), der Addis Abeba University (AAU), der Bahir Dar University und dem Ethiopian Institute for Agricultural Research, National Fish and Other Aquatic Lives Research Center (EIAR-NFALRC) durchgeführt. Ziel von CAPAQUA ist es dabei, zu einer nachhaltigen Bewirtschaftung der aquatischen Ökosysteme und ihrer Ressourcen beizutragen, die Lebensgrundlagen in Ostafrika zu verbessern und die Erreichung der Sustainable Development Goals zu unterstützen.
Evaluierung fokussierte sich darauf, die Stärken und Schwächen des Projekts zu identifizieren und den Projektpartnern Empfehlungen im Hinblick auf eine höhere Relevanz, Effektivität, Effizienz und Nachhaltigkeit zukünftiger CAPAQUA-Projekte zu geben. Die Evaluierung analysierte zudem, die wichtigsten Einflussfaktoren für das Erreichen bzw. Nichterreichen der erwarteten Projektergebnisse und -ziele. Der Rahmen der Evaluierung bezog sich auf den Projektzeitraum von Oktober 2015 bis September 2018.
Methodisch wurden dabei durch Tiefeninterviews mit Projektmitarbeiter:innen und verschiedenen Stakeholdern, Fokusgruppendiskussionen mit Programmteilnehmer:innen und Alumni sowie Programm- und Projektdokumentationen umfangreiche qualitative und quantitative Daten erhoben. Geografischer Schwerpunkt der Evaluierung lag in Ostafrika mit Fokus auf Uganda, Kenia und Äthiopien, in denen während eines Feldbesuchs die auszuwertenden Informationen gesammelt wurden. Außerdem wurden auch die involvierten Institutionen und weitere Stakeholder in Österreich in die Datenerhebung eingebunden.
Entwicklung und Umsetzung eines organisationsweiten wirkungsorientierten M&E-Systems
Ziel des Beratungsprojekts war es, ein unternehmensweites, wirkungsorientiertes Monitoring- und Evaluations- (M&E) System zu entwickeln und gemeinsam mit den Programmverantwortlichen umzusetzen. Aufgrund der Komplexität des abzubildenden Wirkungsgefüges, das insgesamt 17 Bildungs- und Förderprogramme, kommunale Entwicklungsprogramme und Dienstleistungen sowie die Unternehmensziele von Engagement Global umfasste, wies das Vorhaben einen klaren Forschungsbezug auf. Es ist damit das erste ganzheitliche wirkungsorientierte M&E auf Unternehmensebene in der Entwicklungszusammenarbeit.
Entsprechend des durch die Systemkomplexität und der großen Anzahl von involvierten Akteuren (Unternehmensleitung und Programmverantwortliche von Engagement Global, kommunale und zivilgesellschaftliche Akteure, BMZ etc.) bedingten hohen organisatorischen Aufwands, folgte das Vorhaben einem mehrstufigen, partizipativen Beratungsansatz. Ausgangspunkt war dabei eine Bestandsaufnahme der bislang in den einzelnen Programmen und Dienstleistungsbereichen von Engagement Global bereits genutzten Indikatoren, Erhebungsinstrumente und Auswertungsverfahren.
Im Anschluss daran wurde auf Grundlage rekonstruierter und entsprechend validierter spezifischer Wirkungsgefüge überprüft, inwieweit damit die Wirksamkeit der einzelnen Programme und Dienstleistungen erfasst wird und welche Informationslücken noch bestehen. Besonderes Augenmerk lag hierbei auch auf der Erfassung des Beitrags der einzelnen Programmwirkungen zur Erreichung der Unternehmensziele von Engagement Global. Im nächsten Schritt wurde dann wiederum gemeinsam mit den Programmverantwortlichen das bestehende Instrumentarium weiterentwickelt und die Umsetzbarkeit der neuen Elemente praktisch erprobt. Die Ergebnisse dieses Entwicklungsprozesses wurden schließlich in einem umfassenden M&E-Konzept dokumentiert und in das organisationsweite Qualitätssicherungssystem technisch sowie mittels entsprechender Schulungsmaßnahmen operativ integriert.
Mid-Term Evaluation of the „ASEAN Secretariat Post 2015 – Institutional Strengthening and Capacity Development“ project (Jakarta, Indonesien)
Das ASEAN Sekretariat (ASEC) und die Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) implementieren gemeinsam das vom Auswärtigen Amt der Bundesrepublik Deutschland geförderte Vorhaben „ASEAN Sekretariat Post 2015 & Organisationsentwicklung und Capacity Development“. Die evaluierte Projektphase begann im Juni 2016 und unterstützte, aufbauend auf vorherigen Capacity Development Aktivitäten, die Professionalisierung der strategischen Verwaltungsabteilungen und Stabsstellen des ASEAN-Sekretariats. Zudem arbeitete es mit Fachabteilungen zusammen, die zu einer Stärkung der ASEAN-Wirtschaftsgemeinschaft beitragen. Um den Fortschritt der Projektphase zu erfassen, wurde das CEval beauftragt eine Zwischenevaluierung anhand der OECD-DAC Kriterien und erweiterten, projektspezifischen Leitfragen durchzuführen. Unter Berücksichtigung des institutionellen Rahmens des ASEC und der Vielfalt an Akteuren, wurde das Design der Kontributionsanalyse und ein Multi-Methoden-Ansatz gewählt.
Dazu wurden leitfadengestützte Interviews mit Schlüsselfiguren und teilstandardisierte Onlinebefragungen der Workshop-Teilnehmer:innen durchgeführt. Projektdokumentationen und Monitoringdaten ergänzen empirische Daten und ermöglichen Triangulation. Ziel der Zwischenevaluation war es Einblicke in aktuellen Fortschritt des Projekts zu erhalten und Lernen für weitere Projektaktivitäten und zukünftige Phasen zu ermöglichen.
Auswertung der Verbraucher:innenbefragung 2018 des Forum Fairer Handel
Seit 2007 gibt das Forum Fairer Handel in unregelmäßigen Abständen repräsentative Befragungen der deutschen Bevölkerung zum Fairen Handel in Auftrag. Auch 2018 hat eine solche Befragung stattgefunden. Neben verschiedenen Facetten des Kaufs fair gehandelter Produkte ging es hierbei auch um die Einstellungen der Befragten gegenüber den politischen Anliegen des Fairen Handels.
Das Forum Fairer Handel hat die CEval GmbH mit der Auswertung der Ergebnisse der Befragung beauftragt. Die Daten wurden deskriptiv statistisch ausgewertet. Bei einzelnen Fragen wurden zudem Unterschiede im Antwortverhalten verschiedener Befragtengruppen untersucht. Bei Fragen, für die bereits Daten aus den vom Forum Fairer Handel beauftragten Erhebungen der Vorjahre existierten, wurden zudem Entwicklungen und Trends im Zeitverlauf dargestellt.
Integration des Programms „Servicestelle Kommunen in der Einen Welt“ (SKEW) in das M&E-System von Engagement Global
Anfang 2012 wurde mit Engagement Global gGmbH auf Bundesebene eine zentrale Einrichtung zur Förderung und Koordination des entwicklungspolitischen Engagements zivilgesellschaftlicher, kommunaler und privatwirtschaftlicher Akteure sowie zur entwicklungspolitischen Informations- und Bildungsarbeit geschaffen. Die SKEW & ein Programm von Engagement Global & fokussiert sich insbesondere auf die Förderung von kommunaler Entwicklungszusammenarbeit. Um sowohl die zweckgemäße Verwendung dieser Mittel, als auch vor allem die Wirksamkeit ihres Einsatzes belegen zu können, hat Engagement Global für alle Fachbereiche und Programme die Grundlagen zur technischen Implementierung eines umfassenden Monitoring- und Evaluations- (M&E) System geschaffen.
Da die SKEW in der damaligen Entwicklung des Monitoringsystems ausgenommen wurde, wurden waren das CEval und ISPO nun damit beauftragt worden, die Einbindung der SKEW in das organisationsweite Monitoringsystem vorzunehmen. Wie bei der Konzeption des hausweiten M&E-Systems werden wurden zuerst die Wirkungsmodelle und Indikatoren überprüft oder entwickelt. Die Zielsetzungen und Indikatoren werden wurden daraufhin in die strategischen Richtungsaussagen von Engagement Global integriert. Um die Erstellung eines Monitoringsystems für die SKEW zu vervollständigen, wird wurde zudem im nächsten Schritt ein Datenerhebungsplan erstellt und die zugehörigen Datenerhebungsinstrumente werden (weiter-) entwickelt.
Ex-Post Assessment des Strategic Fairtrade Funding Programms (SFFP), Phase II (2010-2013)
Eines der Hauptziele des Eidgenössischen Departments für Handelsförderung ist es, faire Handelsbedingungen mit Entwicklungsländern zu unterstützen. Private Labels und Standards leisten hier einen wesentlichen Beitrag. Dementsprechend unterstützte das Staatssekretariat für Wirtschaft (SECO) von 2008 bis 2009 und von 2010 bis 2013 das Strategic Fairtrade Funding Programme (SFFP) als Teil eines Geberkonsortiums. Hauptziel der harmonisierten Finanzierung war es, benachteiligte Produzent:innen in die Lage zu versetzen, stärkere Handelsverbindungen zu Verbrauchern herzustellen, einen besseren Marktzugang zu erhalten und zur Armutsbekämpfung befähigt zu werden.
Bereits 2014/2015 war eine Evaluation durchgeführt worden, die die Phase II des Förderprogramms untersuchte. Weitere Studien zur Wirkung von Fairtrade umfassten u.a. eine Follow-up-Wirkungsstudie auf Produzentenebene, die sechs Produkt- und Kontextsettings umfasst und vom Centrum für Evaluation (CEval GmbH) 2017/2018 durchgeführt wurde. Vier Jahre nach Auslaufen des SFFP war es nun für SECO von Interesse, den Grad der Zielerreichung der im SFFP Logic Framework festgelegten strategischen Indikatoren zu beurteilen sowie SECOs Beitrag hierzu zu untersuchen.
Das Ex-post Assessment verfolgte somit drei Ziele: (i) bestehende Informationen zur Wirkung von SECOs Unterstützung für das Fairtrade-System nutzbar machen, (ii) die Ergebnisse früherer Studien durch neue Daten zur Relevanz und Nachhaltigkeit des Programms zu ergänzen und (iii) die wichtigsten Erkenntnisse, Empfehlungen und Lessons Learnt im Hinblick auf künftiges Engagement von SECO im Bereich Fairtrade herauszuarbeiten. Zu diesem Zweck untersuchte CEval relevante Sekundärdaten und erhob zusätzliche Primärdaten bei Stakeholdern der FT-Zentrale, dreier FT-Regionalnetzwerke und FT USA.
Wirkungsmonitoring im Rahmen der TZ-Maßnahme und Wirkungsevaluation auf systemischer Ebene zum Beitrag der Maßnahme zur Verzahnung von EZ und AWF
Die Herausforderungen des Klimawandels und des kontinuierlichen Rückgangs fossiler Brennstoffvorräte treffen die verschiedenen Regionen der Erde in unterschiedlicher Weise. Die Staaten haben sich dabei ambitionierte Ziele gesetzt: Mexiko möchte z.B. bis zum Jahr 2024 mehr als ein Drittel seiner Energieproduktion durch erneuerbare Energien erzeugen. Trotz aller Bemühungen ist der Umweltschutz bisher im nördlichen Lateinamerika noch nicht sonderlich erfolgreich gewesen. Eine Ursache hierfür ist die mangelhafte Verbreitung moderner Umwelttechnologien in der Region. Hier setzte das Projekt „Kooperationsplattform Lateinamerika Nord (KOPLAN)“ an und nahm vor allem zentrale Defizite in den Blick, die internationalen Investitionen und Kooperationen entgegenstehen. Diese sind vor allem fehlende Fachkompetenzen in der mittelständigen Wirtschaft im Bereich moderner Umwelttechnologien.
Im Rahmen des gegenwärtigen Auftrags unterstützte das CEval gemeinsam mit dem iSPO-Institut das Vorhaben in den Komponenten Wirkungsmonitoring und Evaluation. Ausgangspunkt eines wirkungsorientierten Monitoring ist in aller Regel das Zielsystem inkl. Zielerreichungsindikatoren und relevanter Annahmen der betreffenden Maßnahme. Veränderungen auf anderen Ebenen, insbesondere im Rahmen von Kooperationsmechanismen, werden dagegen nicht direkt oder nur am Rande im Rahmen des Monitoring thematisiert. Diese Entwicklung von Kooperationssystemen oder aber die Eignung der diesbezüglichen Förderinstrumente werden darüber hinaus im Rahmen der Komponente Evaluation in den Blick genommen.
Im Ergebnis sollten im Rahmen dieses Auftrags neben dem Monitoring und der Erfassung von Wirkungen der Einzelmaßnahmen Erkenntnisse zum Beitrag KOPLANS zur besseren Verzahnung von EZ und AWZ sowie von öffentlichem und privatem Sektor aus systemischer Ebene generiert werden.
Meta-Evaluation von ADA Projekt- und Programmevaluationen 2016-2018
Gegenstand der Meta-Evaluation waren die ADA-Evaluationen von Programmen und Projekten der Entwicklungszusammenarbeit, welche zwischen 2016 und 2018 durchgeführt wurden. Ziel war es, die Qualität und Nützlichkeit der (internen und externen) Evaluationen zu bewerten und daraus Empfehlungen zur Verbesserung des ADA-Instrumentariums für das Design und die Durchführung zukünftiger Evaluationen abzuleiten.
Im Zentrum der Meta-Evaluation stand dabei eine Dokumentenanalyse, mittels derer auf Grundlage eines detaillierten Analyseprotokolls die Qualität der Evaluationsberichte bewertet wurde. Durch den Einsatz eines solchen Protokolls, das alle relevanten Analysedimensionen, Indikatoren und Skalendefinitionen beinhaltet, wurde sichergestellt, dass die Bewertungsergebnisse verlässlich und nachvollziehbar sind. Zur Bewertung der Nützlichkeit und Nutzung der Evaluationen, wurden deren Nutzer:innen (z.B. Programmverantwortliche) im Rahmen von leitfadengestützten Einzel- und Gruppeninterviews sowie & zur Gewährleistung einer größtmöglichen Repräsentativität der Untersuchungsergebnisse & einer teilstandardisierten Online-Erhebung befragt.
Meta-Evaluation und Synthese von Evaluationsberichten der Christoffel Blindenmission
Im Auftrag der Christoffel Blindenmission (CBM) führte CEval eine Synthese von 24 Evaluationsberichten der Jahre 2016 und 2017 durch. Mit dem Mandat in den ärmsten Regionen der Welt für eine Verbesserung der Lebensqualität von Menschen mit Behinderungen zu kämpfen, liegt der Projektfokus der CBM auf einer eingehenden Kooperation mit sowie auf der Förderung von lokalen Akteuren in Entwicklungsländern und Krisenregionen.
Im Zentrum der Evaluation stand eine eingehende Dokumentenanalyse der eingereichten Evaluationsberichte. Um die Homogenität der Daten zu gewährleisten wurde zunächst die Qualität aller Evaluationsberichte systematisch bewertet. Berichte, die gegebene Mindestqualitätsstandards erfüllten, wurden anhand eines Analyserasters, beruhend auf den Evaluationsfragen, evaluiert. Ziel war die Zusammenfassung der unabhängigen Projektevaluationen sowie der daraus resultierenden Erkenntnisse hinsichtlich der einzelnen CBM-Mandatsbereiche. Zusätzliches Instrument zur qualitativen und quantitativen Datenerhebung war eine Onlinebefragung der weltweiten Regionalbüros bezüglich der Nutzung und des Nutzwertes der Evaluationsberichte. Der Evaluationsbericht beantworte dabei Fragen die sich an den OECD-DAC Kriterien strukturierten.
Entwicklung eines Handbuchs zur Einführung und Nutzung von wirkungsorientierten M&E-Ansätzen im Bereich Anpassung an den Klimawandel
Projekte zur Anpassung an den Klimawandel benötigen ein methodisch ausgereiftes M&E-System, das sich nicht auf das Messen von Effekten auf Outputebene begrenzt, sondern Outcomes und Impacts sowie die Attribution von nachgelagerten Wirkungen zu den Projektaktivitäten berücksichtigt.
Die GIZ ist an das Centrum für Evaluation (CEval) mit Bitte um fachliche Unterstützung bei der Entwicklung eines praxistauglichen Ansatzes zur Impact Evaluation in diesem Bereich herangetreten. Zum einen hat das CEval verschiedene Designs der rigorosen Impact Evaluation zusammengestellt und zum anderen Beispiele zu deren Anwendbarkeit im Kontext von Anpassungsprojekten herausgearbeitet. Ergebnisse wurden in einem Handbuch zur Einführung und Nutzung von wirkungsorientierten M&E-Ansätzen im Bereich Anpassung an den Klimawandel festgehalten. Das Handbuch richtet sich an Mitarbeiterinnen und Mitarbeiter der Ministerien, der Geberinstitutionen und anderer relevanter Organisationen, die Projekte zur Anpassung an den Klimawandel entwickeln, umsetzen, prüfen und verbessern wollen.
