Entwicklung und Umsetzung eines organisationsweiten wirkungsorientierten M&E-Systems
Ziel des Beratungsprojekts war es, ein unternehmensweites, wirkungsorientiertes Monitoring- und Evaluations- (M&E) System zu entwickeln und gemeinsam mit den Programmverantwortlichen umzusetzen. Aufgrund der Komplexität des abzubildenden Wirkungsgefüges, das insgesamt 17 Bildungs- und Förderprogramme, kommunale Entwicklungsprogramme und Dienstleistungen sowie die Unternehmensziele von Engagement Global umfasste, wies das Vorhaben einen klaren Forschungsbezug auf. Es ist damit das erste ganzheitliche wirkungsorientierte M&E auf Unternehmensebene in der Entwicklungszusammenarbeit.
Entsprechend des durch die Systemkomplexität und der großen Anzahl von involvierten Akteuren (Unternehmensleitung und Programmverantwortliche von Engagement Global, kommunale und zivilgesellschaftliche Akteure, BMZ etc.) bedingten hohen organisatorischen Aufwands, folgte das Vorhaben einem mehrstufigen, partizipativen Beratungsansatz. Ausgangspunkt war dabei eine Bestandsaufnahme der bislang in den einzelnen Programmen und Dienstleistungsbereichen von Engagement Global bereits genutzten Indikatoren, Erhebungsinstrumente und Auswertungsverfahren.
Im Anschluss daran wurde auf Grundlage rekonstruierter und entsprechend validierter spezifischer Wirkungsgefüge überprüft, inwieweit damit die Wirksamkeit der einzelnen Programme und Dienstleistungen erfasst wird und welche Informationslücken noch bestehen. Besonderes Augenmerk lag hierbei auch auf der Erfassung des Beitrags der einzelnen Programmwirkungen zur Erreichung der Unternehmensziele von Engagement Global. Im nächsten Schritt wurde dann wiederum gemeinsam mit den Programmverantwortlichen das bestehende Instrumentarium weiterentwickelt und die Umsetzbarkeit der neuen Elemente praktisch erprobt. Die Ergebnisse dieses Entwicklungsprozesses wurden schließlich in einem umfassenden M&E-Konzept dokumentiert und in das organisationsweite Qualitätssicherungssystem technisch sowie mittels entsprechender Schulungsmaßnahmen operativ integriert.
Mid-Term Evaluation of the „ASEAN Secretariat Post 2015 – Institutional Strengthening and Capacity Development“ project (Jakarta, Indonesien)
Das ASEAN Sekretariat (ASEC) und die Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) implementieren gemeinsam das vom Auswärtigen Amt der Bundesrepublik Deutschland geförderte Vorhaben „ASEAN Sekretariat Post 2015 & Organisationsentwicklung und Capacity Development“. Die evaluierte Projektphase begann im Juni 2016 und unterstützte, aufbauend auf vorherigen Capacity Development Aktivitäten, die Professionalisierung der strategischen Verwaltungsabteilungen und Stabsstellen des ASEAN-Sekretariats. Zudem arbeitete es mit Fachabteilungen zusammen, die zu einer Stärkung der ASEAN-Wirtschaftsgemeinschaft beitragen. Um den Fortschritt der Projektphase zu erfassen, wurde das CEval beauftragt eine Zwischenevaluierung anhand der OECD-DAC Kriterien und erweiterten, projektspezifischen Leitfragen durchzuführen. Unter Berücksichtigung des institutionellen Rahmens des ASEC und der Vielfalt an Akteuren, wurde das Design der Kontributionsanalyse und ein Multi-Methoden-Ansatz gewählt.
Dazu wurden leitfadengestützte Interviews mit Schlüsselfiguren und teilstandardisierte Onlinebefragungen der Workshop-Teilnehmer:innen durchgeführt. Projektdokumentationen und Monitoringdaten ergänzen empirische Daten und ermöglichen Triangulation. Ziel der Zwischenevaluation war es Einblicke in aktuellen Fortschritt des Projekts zu erhalten und Lernen für weitere Projektaktivitäten und zukünftige Phasen zu ermöglichen.
Auswertung der Verbraucher:innenbefragung 2018 des Forum Fairer Handel
Seit 2007 gibt das Forum Fairer Handel in unregelmäßigen Abständen repräsentative Befragungen der deutschen Bevölkerung zum Fairen Handel in Auftrag. Auch 2018 hat eine solche Befragung stattgefunden. Neben verschiedenen Facetten des Kaufs fair gehandelter Produkte ging es hierbei auch um die Einstellungen der Befragten gegenüber den politischen Anliegen des Fairen Handels.
Das Forum Fairer Handel hat die CEval GmbH mit der Auswertung der Ergebnisse der Befragung beauftragt. Die Daten wurden deskriptiv statistisch ausgewertet. Bei einzelnen Fragen wurden zudem Unterschiede im Antwortverhalten verschiedener Befragtengruppen untersucht. Bei Fragen, für die bereits Daten aus den vom Forum Fairer Handel beauftragten Erhebungen der Vorjahre existierten, wurden zudem Entwicklungen und Trends im Zeitverlauf dargestellt.
Integration des Programms „Servicestelle Kommunen in der Einen Welt“ (SKEW) in das M&E-System von Engagement Global
Anfang 2012 wurde mit Engagement Global gGmbH auf Bundesebene eine zentrale Einrichtung zur Förderung und Koordination des entwicklungspolitischen Engagements zivilgesellschaftlicher, kommunaler und privatwirtschaftlicher Akteure sowie zur entwicklungspolitischen Informations- und Bildungsarbeit geschaffen. Die SKEW & ein Programm von Engagement Global & fokussiert sich insbesondere auf die Förderung von kommunaler Entwicklungszusammenarbeit. Um sowohl die zweckgemäße Verwendung dieser Mittel, als auch vor allem die Wirksamkeit ihres Einsatzes belegen zu können, hat Engagement Global für alle Fachbereiche und Programme die Grundlagen zur technischen Implementierung eines umfassenden Monitoring- und Evaluations- (M&E) System geschaffen.
Da die SKEW in der damaligen Entwicklung des Monitoringsystems ausgenommen wurde, wurden waren das CEval und ISPO nun damit beauftragt worden, die Einbindung der SKEW in das organisationsweite Monitoringsystem vorzunehmen. Wie bei der Konzeption des hausweiten M&E-Systems werden wurden zuerst die Wirkungsmodelle und Indikatoren überprüft oder entwickelt. Die Zielsetzungen und Indikatoren werden wurden daraufhin in die strategischen Richtungsaussagen von Engagement Global integriert. Um die Erstellung eines Monitoringsystems für die SKEW zu vervollständigen, wird wurde zudem im nächsten Schritt ein Datenerhebungsplan erstellt und die zugehörigen Datenerhebungsinstrumente werden (weiter-) entwickelt.
Ex-Post Assessment des Strategic Fairtrade Funding Programms (SFFP), Phase II (2010-2013)
Eines der Hauptziele des Eidgenössischen Departments für Handelsförderung ist es, faire Handelsbedingungen mit Entwicklungsländern zu unterstützen. Private Labels und Standards leisten hier einen wesentlichen Beitrag. Dementsprechend unterstützte das Staatssekretariat für Wirtschaft (SECO) von 2008 bis 2009 und von 2010 bis 2013 das Strategic Fairtrade Funding Programme (SFFP) als Teil eines Geberkonsortiums. Hauptziel der harmonisierten Finanzierung war es, benachteiligte Produzent:innen in die Lage zu versetzen, stärkere Handelsverbindungen zu Verbrauchern herzustellen, einen besseren Marktzugang zu erhalten und zur Armutsbekämpfung befähigt zu werden.
Bereits 2014/2015 war eine Evaluation durchgeführt worden, die die Phase II des Förderprogramms untersuchte. Weitere Studien zur Wirkung von Fairtrade umfassten u.a. eine Follow-up-Wirkungsstudie auf Produzentenebene, die sechs Produkt- und Kontextsettings umfasst und vom Centrum für Evaluation (CEval GmbH) 2017/2018 durchgeführt wurde. Vier Jahre nach Auslaufen des SFFP war es nun für SECO von Interesse, den Grad der Zielerreichung der im SFFP Logic Framework festgelegten strategischen Indikatoren zu beurteilen sowie SECOs Beitrag hierzu zu untersuchen.
Das Ex-post Assessment verfolgte somit drei Ziele: (i) bestehende Informationen zur Wirkung von SECOs Unterstützung für das Fairtrade-System nutzbar machen, (ii) die Ergebnisse früherer Studien durch neue Daten zur Relevanz und Nachhaltigkeit des Programms zu ergänzen und (iii) die wichtigsten Erkenntnisse, Empfehlungen und Lessons Learnt im Hinblick auf künftiges Engagement von SECO im Bereich Fairtrade herauszuarbeiten. Zu diesem Zweck untersuchte CEval relevante Sekundärdaten und erhob zusätzliche Primärdaten bei Stakeholdern der FT-Zentrale, dreier FT-Regionalnetzwerke und FT USA.
Hochschulkooperation mit der Universität von Costa Rica (UCR) und der Päpstlichen Katholischen Universität von Ecuador (PUCE)
Die Universität des Saarlandes (UdS) und die Universität von Costa Rica (UCR) pflegen seit 2008 eine intensive Zusammenarbeit, welche zwischen 2012 und 2015 durch das DAAD Programm „Fachbezogene Partnerschaften mit Hochschulen und Entwicklungsländern“ unterstützt wurde. Durch das DAAD-Beraterprogramm war bereits die vorangegangene Zusammenarbeit der beiden Hochschulen finanziell unterstützt worden. Vor dem Hintergrund eines stetig steigenden Bedarfs an Evaluationen und Evaluationskompetenzen waren beide Partner bestrebt, die Zusammenarbeit im Rahmen des DAAD-Programms weiterzuführen und durch die Einbindung einer weiteren Partnerschule nachhaltig auszuweiten. Hierfür konnte die Päpstliche Katholische Universität von Ecuador (PUCE) gewonnen werden.
Kernstücke dieser dritten Phase der Kooperation war die Einführung eines neuen Blended Learning Masterstudiengangs in Evaluation an der PUCE bzw. eines Blended Learning Weiterbildungsangebotes am Centrum für Forschung und Weiterbildung in Öffentlicher Verwaltung (CICAP) der UCR sowie die Qualitätssicherung der Aus- und Weiterbildung in Evaluation in Costa Rica, Ecuador und Lateinamerika (Verbesserung der Aus- und Weiterbildung sowie der Forschung in Evaluation). Zudem standen der Aufbau eines lateinamerikanischen Hochschulnetzwerkes im Fachbereich Evaluation (Netzwerkbildung und Internationalisierung), die Stärkung des Praxisbezugs der akademischen Evaluationsausbildung sowie der Beitrag zu evidenzbasiertet Politikgestaltung (Anwendung wissenschaftlicher Evaluationsforschung in der politischen Praxis) und schließlich die Vertiefung und institutionelle Erweiterung der Zusammenarbeit zwischen den beteiligten Universitäten sowie dem Forschungsinstitut CICAP (Dreiecks- und Süd-Süd-Kooperation) auf dem Programm der auf vier Jahre angelegten Partnerschaft.
Entwicklung eines Handbuchs zur Einführung und Nutzung von wirkungsorientierten M&E-Ansätzen im Bereich Anpassung an den Klimawandel
Projekte zur Anpassung an den Klimawandel benötigen ein methodisch ausgereiftes M&E-System, das sich nicht auf das Messen von Effekten auf Outputebene begrenzt, sondern Outcomes und Impacts sowie die Attribution von nachgelagerten Wirkungen zu den Projektaktivitäten berücksichtigt.
Die GIZ ist an das Centrum für Evaluation (CEval) mit Bitte um fachliche Unterstützung bei der Entwicklung eines praxistauglichen Ansatzes zur Impact Evaluation in diesem Bereich herangetreten. Zum einen hat das CEval verschiedene Designs der rigorosen Impact Evaluation zusammengestellt und zum anderen Beispiele zu deren Anwendbarkeit im Kontext von Anpassungsprojekten herausgearbeitet. Ergebnisse wurden in einem Handbuch zur Einführung und Nutzung von wirkungsorientierten M&E-Ansätzen im Bereich Anpassung an den Klimawandel festgehalten. Das Handbuch richtet sich an Mitarbeiterinnen und Mitarbeiter der Ministerien, der Geberinstitutionen und anderer relevanter Organisationen, die Projekte zur Anpassung an den Klimawandel entwickeln, umsetzen, prüfen und verbessern wollen.
Externe Evaluation des Netherlands Fellowship Programme (NFP II) und der Netherlands Initiative for Capacity in Higher Education (NICHE II)
Im Auftrag des niederländischen Außenministeriums (MFA) führte das CEval eine externe Evaluation des ‚Dutch Fellowship Programme‘ (NFP II) und der ‚Netherlands Initiative for Capacity Development in Higher Education‘ (NICHE II) durch. Diese Programme, die vom MFA finanziert und von der niederländischen Organisation für internationale Zusammenarbeit in der Hochschulbildung, ‚EP-Nuffic‘ verwaltet werden, fördern die Entwicklung von Kapazitäten im Bereich der Hochschulbildung in Partnerländern der niederländischen Entwicklungszusammenarbeit.
Hauptziel von NFP und NICHE ist es, den quantitativen und qualitativen Mangel an qualifiziertem Fachpersonal in Entwicklungsländern zu reduzieren und zum Aufbau nachhaltiger Kapazitäten im Rahmen der Armutsreduzierung beizutragen. Unter NFP werden Stipendien an Berufstätige vergeben, damit diese an Schulungen und Aufbaustudiengängen in den Niederlanden teilnehmen können. NICHE zielt auf die Stärkung institutionelle Kapazitäten zur Verbesserung der Qualität, Relevanz und Gender-Sensibilität der postsekundären Ausbildung in den NICHE-Partnerländern.
Die Evaluation deckte den Umsetzungszeitraum der beiden Programme von 2002 bis 2015 ab, wobei der Fokus auf der letzten Projektphase seit 2012 lag, die sich durch eine besondere Ausrichtung der Programme auf Wirtschaftsdiplomatie und eine stärkere Angleichung an die vier Schwerpunktthemen der niederländischen Entwicklungsstrategie (Wasser, sexuelle und reproduktive Gesundheit und Rechte, Sicherheit und Rechtsstaatlichkeit und Nahrungsmittelsicherheit) auszeichnete. Die Evaluation diente dabei insbesondere zur Rechenschaftslegung über die hierfür von den Niederlanden bereitgestellten Finanzmittel sowie zur Generierung von Lernerfahrungen zur zukünftigen Programm- und Strategieentwicklung.
Im Rahmen der Evaluation wurden beide Programme gemäß der OECD/DAC-Kriterien hinsichtlich ihrer Relevanz, Effizienz, Effektivität, Wirkung und Nachhaltigkeit bewertet. Auf Grundlage der Ergebnisse wurden Empfehlungen zur zukünftigen Optimierung der Programme entwickelt. Die Evaluation wurde in Zusammenarbeit mit ACE Europe, einem belgischen Beratungsunternehmen, umgesetzt.
Programmevaluation „Stärkung der regionalen Integration und Zusammenarbeit auf dem Gebiet der Qualitätsinfrastruktur (AI) in SAARC“
Das Ziel des Regionalvorhabens in SAARC (South Asian Association for Regional Cooperation) der die Länder Indien, Pakistan, Bangladesch, Nepal, Buthan, die Malediven, Afghanistan und Sri Lanka angehören, ist es technische Handelshemmnisse abzubauen. Um dieses Ziel zu erreichen, fördert die PTB mit ihren Maßnahmen innerhalb dieses Vorhabens gezielt die Zusammenarbeit der SAARC Mitglieder im Bereich Metrologie, Akkreditierung und Standardisierung. Zur Zielgruppe gehören nationale QI Institutionen sowie Ministerien und Wirtschaftsverbände mit denen u.a. technische Trainings- oder bewusstseinsbildende Maßnahmen durchgeführt wurden.
Für die Evaluation wurden sowohl qualitative als auch quantitative Methoden genutzt (mixed method design). So wurde nebst Dokumentenanalyse und Leitfaden gestützten Interviews mit Vertretern der Zielgruppen aus allen SAARC Ländern während einer zweiwöchigen Feldphase in Bangladesch, Buthan und Indien, auch eine standardisierte Online Befragung ehemaliger Trainingsteilnehmer durchgeführt.
Das Ziel der Evaluation war es, mit Hilfe statistischer Daten- und qualitativer Inhaltsanalyse empirisch gestützte Aussagen zu Relevanz, Effektivität, Effizienz, Impact und Nachhaltigkeit (DAC-Kriterien) des Projektes zu machen. Die Ergebnisse wurden zur weiteren Entwicklung dieses, sowie weiterer Projekte der PTB (in der Region) genutzt. Die Evaluationsergebnisse wurden außerdem die Entscheidung über eine weitere Förderphase und eventuelle Änderungen in der Projektplanung beeinflussen.
Evaluation des Projektes „Nachhaltige Kommunalentwicklung durch Partnerschaftsprojekte (Nakopa)“ und des „Förderprogramms für Kommunalen Klimaschutz und Klimaanpassungsprojekte (FKKP)“
Die Servicestelle Kommunen in der Einen Welt (SKEW) unter dem Dach von Engagement Global ist das Kompetenzzentrum der kommunalen Entwicklungspolitik in Deutschland. Seit 2001 bietet sie eine Dialogplattform zum kommunalen Erfahrungsaustausch und fördert kommunale Akteure in ihrem entwicklungsbezogenen Engagement durch Qualifizierungs-, Informations- und Beratungsangebote, die Umsetzung von Modellprojekten sowie Hilfestellungen für finanzielle Förderung.
Zum Leistungsspektrum der SKEW zählen unter anderem die Vorhaben „Nachhaltige Kommunalentwicklung durch Partnerschaftsprojekte (Nakopa)“ und das „Förderprogramm für kommunale Klimaschutz- und Klimaanpassungsprojekte (FKKP)“. Während durch Nakopa bestehende und neue Partnerschaften zwischen deutschen Kommunen und Kommunen des globalen Südens zur Planung und Unterstützung von gemeinsamen Projekten in ausgewählten entwicklungspolitisch relevanten Themenfeldern gefördert werden, zielt die Förderung durch FKKP ausschließlich auf die Förderung von Maßnahmen zum Klimaschutz und zur Anpassung an den Klimawandel.
Nach einem ersten dreijährigen Projektzyklus sollten diese beiden Vorhaben nun sowohl hinsichtlich prozessualer Aspekte der Projektadministration als auch herbeigeführter Wirkungen der geförderten Projekte sowie der Förderangebote Nakopa und FKKP evaluiert werden. Zur Beantwortung der an den OECD-DAC Evaluationskriterien ausgerichteten Leitfragen wurde ein auf dokumentarischen und empirischen Daten beruhender kontributionsanalytischer Untersuchungsansatz gewählt. Grundlage der Untersuchungen waren entsprechend sowohl Monitoringdaten und Projektdokumentation als auch eigens, mittels leitfadengestützter Intensivinterviews sowie teilstandardisierter Onlinebefragungen der teilnehmenden Kommunen, erhobene Daten.