Midterm-Review des FKPW-Programms
Im internationalen Vergleich verfügen deutsche Kommunen aufgrund der ausgeprägten kommunalen Selbstverwaltung über vergleichsweise umfangreiche Kompetenzen, welche auch für die Entwicklungszusammenarbeit sehr wertvoll sind. Im Rahmen von kommunalen Partnerschaften führen deutsche Kommunen und Südkommunen gemeinsam Projekte in Kommunen des Globalen Südens durch. Dabei wird technisches Wissen aus der deutschen Kommune in die Partnerkommune transferiert. Die Servicestelle Kommunen der Einen Welt (SKEW) bietet verschiedene Möglichkeiten der Unterstützung des entwicklungspolitischen Engagements kommunaler Partnerschaften.
Eine dieser Fördermöglichkeiten ist das personelle Förderinstrument „Fachkräfte für Kommunale Partnerschaften Weltweit“ (FKPW). Im Rahmen des FKPW-Programms können sich kommunale Partnerschaften auf die Platzierung einer Fachkraft in der Partnerkommune bewerben, die die Schaffung von Strukturen und Kapazitäten vor Ort unterstützt. Ziel des FKPW-Programms ist es, kommunale Partnerschaften und den Einsatz der deutschen Kommune durch den Einsatz einer Fachkraft besser in Wert zu setzen.
Die CEval GmbH wurde von der GIZ mit der Durchführung eines Midterm-Reviews des FKPW-Programms beauftragt. Ziel des Reviews war es, die Sichtweisen der verschiedenen in das Programm involvierten Akteur:innen zusammen zu tragen und Empfehlungen für die weitere Ausgestaltung des Programms zu geben. Oberstes Ziel war somit das institutionelle Lernen auf Seiten der beiden durchführenden Organisationen, GIZ und SKEW. Am Ziel des Reviews orientiert war die Methodik rein qualitativ und basierte auf der Vorgehensweise der offenen Perspektivenerfassung. Für das Review wurden Interviews und Fokusgruppendiskussionen mit Vertreter:innen der deutschen Kommunen, der Partnerkommunen, mit den Fachkräften und dem Steuerungsteam des Programms sowie mit Vertreterinnen des zuständigen BMZ-Referates und Vertreter:innen verschiedener Bereiche innerhalb der GIZ und SKEW geführt.
Beratungstätigkeit des ASEAN Sekretariats zur Ausarbeitung eines methodischen und operativen Rahmenkonzepts zum systematischen Wirkungsmonitoring
CEval wurde von der Deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) beauftragt im Rahmen des ASEAN Sekretariat Post 2015 & Organisationsentwicklung und Capacity Development Projekts das ASEAN Sekretariat bei der Ausarbeitung eines methodischen und operativen Rahmenkonzepts zum systematischen Wirkungsmonitoring zu beraten.
Dabei galt es vor allem die Evaluierungsprozesse des ASEAN-Sekretariats zu untersuchen und fachliche Unterstützung für die Neudefinierung des Wirkungsmonitorings des ASEAN-Sekretariats, mit Schwerpunkt aurf ASEAN-Kooperationsprojekte, zu leisten.
Im Rahmen der Beratung wurden eine Reihe von Interviews mit den verantwortlichen M&E-Abteilungen sowie ein dreitägiges Methodentraining durchgeführt. Dabei wurden nicht nur die M&E-Kapazitäten von Mitarbeitern gestärkt, sondern auch ein gemeinsames Diskussionsforum für verschiedene Abteilungen geschaffen. Dies war besonders wichtig um Meinungen und Erfahrungen auszutauschen und Akzeptanz gegenüber dem neuen PMEFs zu schaffen. Der Abschlussbericht fasst wichtige Erkenntnisse zusammen, erörtert Best Practices anderer Akteure und beschreibt Konzepte, mögliche Mechanismen und Empfehlungen zur Implementierung eines funktionalen PMEFs.
Meta-Evaluation von Projekt- und Programmevaluationen 2015-2017 des finnischen Außenministeriums
Das finnische Außenministerium beauftragte das CEval zusammen mit Particip und Indufor eine Meta-Evaluation ihrer Evaluationen von Programmen und Projekten der Entwicklungszusammenarbeit durchzuführen. Das finnische Ministerium führt regelmäßig Meta-Evaluationen durch und im Fokus dieser Meta-Evaluation standen die Evaluierungen von 2015-2017.
Zielsetzung dieser Meta-Evaluierung war zum einen die Verbesserung von Evaluierungsberichten, die Praxis des Evaluierungsmanagements und Entwicklung von Evaluierungskapazitäten und die Identifizierung möglicher Lücken in der finnischen Evaluierungspraxis. Darüber hinaus standen auch die Inhalte der Evaluationsberichte im Fokus, z. B. wurden das Erreichen der DAC-Kriterien und weitere finnische Querschnittsthemen wie Gleichberechtigung von Mann und Frau oder nachhaltige Klimapolitik evaluiert.
Methodisch stand dabei eine Dokumentenanalyse der Evaluierungsberichte im Mittelpunkt der Meta-Bewertung, um zunächst die Qualität und anschließend den Inhalt der Evaluierungsberichte zu bewerten. Verschiedene Bewertungsinstrumente wurden entwickelt, um einen einfach durchführbaren und verlässlichen Bewertungsprozess zu ermöglichen. Im Rahmen der Qualitätsprüfung wurden die Evaluierungsberichte auf das Vorhandensein von Informationen überprüft, die für das Verständnis der Evaluierung (Gegenstand, Prozess und Ergebnisse) wesentlich sind. Zusätzlich wurden methodische Anforderungen wie z. B. die Daten- und Methodentriangulation oder der logische Fluss von den Daten über Ergebnisse und Schlussfolgerungen zu den Empfehlungen bewertet. Ein weiteres Tool wurde für die inhaltliche Analyse genutzt, bei der die Ergebnisse im Detail hinsichtlich der verschiedenen Bewertungskriterien sowie Schlussfolgerungen und Empfehlungen semi-standardisiert analysiert wurden.
Hochschulkooperation mit der Universität von Costa Rica (UCR) und der Päpstlichen Katholischen Universität von Ecuador (PUCE)
Die Universität des Saarlandes (UdS) und die Universität von Costa Rica (UCR) pflegen seit 2008 eine intensive Zusammenarbeit, welche zwischen 2012 und 2015 durch das DAAD Programm „Fachbezogene Partnerschaften mit Hochschulen und Entwicklungsländern“ unterstützt wurde. Durch das DAAD-Beraterprogramm war bereits die vorangegangene Zusammenarbeit der beiden Hochschulen finanziell unterstützt worden. Vor dem Hintergrund eines stetig steigenden Bedarfs an Evaluationen und Evaluationskompetenzen waren beide Partner bestrebt, die Zusammenarbeit im Rahmen des DAAD-Programms weiterzuführen und durch die Einbindung einer weiteren Partnerschule nachhaltig auszuweiten. Hierfür konnte die Päpstliche Katholische Universität von Ecuador (PUCE) gewonnen werden.
Kernstücke dieser dritten Phase der Kooperation war die Einführung eines neuen Blended Learning Masterstudiengangs in Evaluation an der PUCE bzw. eines Blended Learning Weiterbildungsangebotes am Centrum für Forschung und Weiterbildung in Öffentlicher Verwaltung (CICAP) der UCR sowie die Qualitätssicherung der Aus- und Weiterbildung in Evaluation in Costa Rica, Ecuador und Lateinamerika (Verbesserung der Aus- und Weiterbildung sowie der Forschung in Evaluation). Zudem standen der Aufbau eines lateinamerikanischen Hochschulnetzwerkes im Fachbereich Evaluation (Netzwerkbildung und Internationalisierung), die Stärkung des Praxisbezugs der akademischen Evaluationsausbildung sowie der Beitrag zu evidenzbasiertet Politikgestaltung (Anwendung wissenschaftlicher Evaluationsforschung in der politischen Praxis) und schließlich die Vertiefung und institutionelle Erweiterung der Zusammenarbeit zwischen den beteiligten Universitäten sowie dem Forschungsinstitut CICAP (Dreiecks- und Süd-Süd-Kooperation) auf dem Programm der auf vier Jahre angelegten Partnerschaft.
Entwicklung eines Handbuchs zur Einführung und Nutzung von wirkungsorientierten M&E-Ansätzen im Bereich Anpassung an den Klimawandel
Projekte zur Anpassung an den Klimawandel benötigen ein methodisch ausgereiftes M&E-System, das sich nicht auf das Messen von Effekten auf Outputebene begrenzt, sondern Outcomes und Impacts sowie die Attribution von nachgelagerten Wirkungen zu den Projektaktivitäten berücksichtigt.
Die GIZ ist an das Centrum für Evaluation (CEval) mit Bitte um fachliche Unterstützung bei der Entwicklung eines praxistauglichen Ansatzes zur Impact Evaluation in diesem Bereich herangetreten. Zum einen hat das CEval verschiedene Designs der rigorosen Impact Evaluation zusammengestellt und zum anderen Beispiele zu deren Anwendbarkeit im Kontext von Anpassungsprojekten herausgearbeitet. Ergebnisse wurden in einem Handbuch zur Einführung und Nutzung von wirkungsorientierten M&E-Ansätzen im Bereich Anpassung an den Klimawandel festgehalten. Das Handbuch richtet sich an Mitarbeiterinnen und Mitarbeiter der Ministerien, der Geberinstitutionen und anderer relevanter Organisationen, die Projekte zur Anpassung an den Klimawandel entwickeln, umsetzen, prüfen und verbessern wollen.
Externe Evaluation des Netherlands Fellowship Programme (NFP II) und der Netherlands Initiative for Capacity in Higher Education (NICHE II)
Im Auftrag des niederländischen Außenministeriums (MFA) führte das CEval eine externe Evaluation des ‚Dutch Fellowship Programme‘ (NFP II) und der ‚Netherlands Initiative for Capacity Development in Higher Education‘ (NICHE II) durch. Diese Programme, die vom MFA finanziert und von der niederländischen Organisation für internationale Zusammenarbeit in der Hochschulbildung, ‚EP-Nuffic‘ verwaltet werden, fördern die Entwicklung von Kapazitäten im Bereich der Hochschulbildung in Partnerländern der niederländischen Entwicklungszusammenarbeit.
Hauptziel von NFP und NICHE ist es, den quantitativen und qualitativen Mangel an qualifiziertem Fachpersonal in Entwicklungsländern zu reduzieren und zum Aufbau nachhaltiger Kapazitäten im Rahmen der Armutsreduzierung beizutragen. Unter NFP werden Stipendien an Berufstätige vergeben, damit diese an Schulungen und Aufbaustudiengängen in den Niederlanden teilnehmen können. NICHE zielt auf die Stärkung institutionelle Kapazitäten zur Verbesserung der Qualität, Relevanz und Gender-Sensibilität der postsekundären Ausbildung in den NICHE-Partnerländern.
Die Evaluation deckte den Umsetzungszeitraum der beiden Programme von 2002 bis 2015 ab, wobei der Fokus auf der letzten Projektphase seit 2012 lag, die sich durch eine besondere Ausrichtung der Programme auf Wirtschaftsdiplomatie und eine stärkere Angleichung an die vier Schwerpunktthemen der niederländischen Entwicklungsstrategie (Wasser, sexuelle und reproduktive Gesundheit und Rechte, Sicherheit und Rechtsstaatlichkeit und Nahrungsmittelsicherheit) auszeichnete. Die Evaluation diente dabei insbesondere zur Rechenschaftslegung über die hierfür von den Niederlanden bereitgestellten Finanzmittel sowie zur Generierung von Lernerfahrungen zur zukünftigen Programm- und Strategieentwicklung.
Im Rahmen der Evaluation wurden beide Programme gemäß der OECD/DAC-Kriterien hinsichtlich ihrer Relevanz, Effizienz, Effektivität, Wirkung und Nachhaltigkeit bewertet. Auf Grundlage der Ergebnisse wurden Empfehlungen zur zukünftigen Optimierung der Programme entwickelt. Die Evaluation wurde in Zusammenarbeit mit ACE Europe, einem belgischen Beratungsunternehmen, umgesetzt.
Programmevaluation „Stärkung der regionalen Integration und Zusammenarbeit auf dem Gebiet der Qualitätsinfrastruktur (AI) in SAARC“
Das Ziel des Regionalvorhabens in SAARC (South Asian Association for Regional Cooperation) der die Länder Indien, Pakistan, Bangladesch, Nepal, Buthan, die Malediven, Afghanistan und Sri Lanka angehören, ist es technische Handelshemmnisse abzubauen. Um dieses Ziel zu erreichen, fördert die PTB mit ihren Maßnahmen innerhalb dieses Vorhabens gezielt die Zusammenarbeit der SAARC Mitglieder im Bereich Metrologie, Akkreditierung und Standardisierung. Zur Zielgruppe gehören nationale QI Institutionen sowie Ministerien und Wirtschaftsverbände mit denen u.a. technische Trainings- oder bewusstseinsbildende Maßnahmen durchgeführt wurden.
Für die Evaluation wurden sowohl qualitative als auch quantitative Methoden genutzt (mixed method design). So wurde nebst Dokumentenanalyse und Leitfaden gestützten Interviews mit Vertretern der Zielgruppen aus allen SAARC Ländern während einer zweiwöchigen Feldphase in Bangladesch, Buthan und Indien, auch eine standardisierte Online Befragung ehemaliger Trainingsteilnehmer durchgeführt.
Das Ziel der Evaluation war es, mit Hilfe statistischer Daten- und qualitativer Inhaltsanalyse empirisch gestützte Aussagen zu Relevanz, Effektivität, Effizienz, Impact und Nachhaltigkeit (DAC-Kriterien) des Projektes zu machen. Die Ergebnisse wurden zur weiteren Entwicklung dieses, sowie weiterer Projekte der PTB (in der Region) genutzt. Die Evaluationsergebnisse wurden außerdem die Entscheidung über eine weitere Förderphase und eventuelle Änderungen in der Projektplanung beeinflussen.
Evaluation des Projektes „Nachhaltige Kommunalentwicklung durch Partnerschaftsprojekte (Nakopa)“ und des „Förderprogramms für Kommunalen Klimaschutz und Klimaanpassungsprojekte (FKKP)“
Die Servicestelle Kommunen in der Einen Welt (SKEW) unter dem Dach von Engagement Global ist das Kompetenzzentrum der kommunalen Entwicklungspolitik in Deutschland. Seit 2001 bietet sie eine Dialogplattform zum kommunalen Erfahrungsaustausch und fördert kommunale Akteure in ihrem entwicklungsbezogenen Engagement durch Qualifizierungs-, Informations- und Beratungsangebote, die Umsetzung von Modellprojekten sowie Hilfestellungen für finanzielle Förderung.
Zum Leistungsspektrum der SKEW zählen unter anderem die Vorhaben „Nachhaltige Kommunalentwicklung durch Partnerschaftsprojekte (Nakopa)“ und das „Förderprogramm für kommunale Klimaschutz- und Klimaanpassungsprojekte (FKKP)“. Während durch Nakopa bestehende und neue Partnerschaften zwischen deutschen Kommunen und Kommunen des globalen Südens zur Planung und Unterstützung von gemeinsamen Projekten in ausgewählten entwicklungspolitisch relevanten Themenfeldern gefördert werden, zielt die Förderung durch FKKP ausschließlich auf die Förderung von Maßnahmen zum Klimaschutz und zur Anpassung an den Klimawandel.
Nach einem ersten dreijährigen Projektzyklus sollten diese beiden Vorhaben nun sowohl hinsichtlich prozessualer Aspekte der Projektadministration als auch herbeigeführter Wirkungen der geförderten Projekte sowie der Förderangebote Nakopa und FKKP evaluiert werden. Zur Beantwortung der an den OECD-DAC Evaluationskriterien ausgerichteten Leitfragen wurde ein auf dokumentarischen und empirischen Daten beruhender kontributionsanalytischer Untersuchungsansatz gewählt. Grundlage der Untersuchungen waren entsprechend sowohl Monitoringdaten und Projektdokumentation als auch eigens, mittels leitfadengestützter Intensivinterviews sowie teilstandardisierter Onlinebefragungen der teilnehmenden Kommunen, erhobene Daten.
Weiterentwicklung des Monitoring und Berichtssystems zum Aktionsplan „Inklusion von Menschen mit Behinderungen“ in der deutschen entwicklungspolitischen Zusammenarbeit
Das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) hat im Februar 2013 zur Umsetzung der Verpflichtungen, die sich aus Artikel 32 der Konvention über die Rechte von Menschen mit Behinderungen (MmB) der Vereinten Nationen ergeben, den Aktionsplan zur Inklusion von MmB veröffentlicht. Dieser gibt die zentralen Leitlinien und strategischen Ziele der Bundesrepublik Deutschland für die inklusive Gestaltung ihrer entwicklungspolitischen Zusammenarbeit vor.
Zur Fortschrittsbewertung und zur Steuerung der im Rahmen des Aktionsplans durchgeführten Maßnahmen bedarf es eines adäquaten Monitoringsystems und Berichtswesens für dessen Konzeption methodisches Fachwissen notwendig ist. Dementsprechend wurde das Centrum für Evaluation (CEval) beauftragt das Sektorvorhaben „Inklusion von Menschen mit Behinderungen“ der deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) und das Referat 300 des BMZ bei der Erstellung eines Monitoring – und Analyserahmens zu unterstützen.
Externe Evaluation des empowering people. Network
Im Auftrag der Siemens Stiftung führte die CEval GmbH eine externe Evaluation des empowering People. Network durch. Das 2013 von der Siemens Stiftung ins Leben gerufene Netzwerk bringt Erfinder:innen und Sozialunternehmer:innen zusammen, die mit ihren Lösungen in wesentlichen Grundversorgungsbereichen wie Gesundheit, Ernährung oder Bildung einen Beitrag zur Verbesserung der Lebensbedingungen innerhalb der jeweiligen Gemeinden leisten. Durch den empowering people. Award werden Lösungen, die ein wesentliches Problem der Grundversorgung adressieren von der Siemens Stiftung im Hinblick auf die Eignung im Entwicklungskontext und ihr Business-Potential beurteilt. Die derzeit 80 Organisationen, die sich mit best practice Ansätzen durchgesetzt haben, erhalten im Rahmen anschließender Netzwerkaktivitäten langfristige Unterstützung in den Bereichen Organisationsentwicklung, Professionalisierung und Vernetzung mit relevanten Partnern.
Im Jahr 2017/18 wurde das empowering people. Network nun erstmalig evaluiert. Die Evaluation deckt die Gesamtlaufzeit des Netzwerkes seit der Gründung im Jahr 2013 ab und dient dabei er Lernerfahrungen zur zukünftigen Netzwerk- und Strategieentwicklung. Die Evaluation des empowering people. Network überprüfte daher, welche Wirkungen die jeweiligen Module für die Netzwerkmitglieder:innen erzielt haben und wie diese im Hinblick auf die übergeordneten Zielsetzungen zu bewerten sind. Dabei orientierte sie sich an den OECD/DAC-Kriterien und zeichnete sich durch einen partizipativen Multimethoden-Ansatz aus. Im Rahmen eines kontributionsanalytischen Untersuchungsansatzes wurden Dokumente- und Sekundäranalysen kombiniert mit qualitativen (leitfadengestützte Experteninterviews, Fallstudien und Fokusgruppendiskussionen) sowie quantitative Verfahren (teilstandardisierte Online-Erhebungen). Auf Grundlage der Ergebnisse wurden ‚lessons learnt‘ und Empfehlungen zur zukünftigen Optimierung der Netzwerkaktivitäten entwickelt.
