Evaluation der “Knauf Training Initiative Phase I und II”
Mit dem Programm develoPPP Classic unterstützt DEG Impulse Maßnahmen etablierter Unternehmen, die sich langfristig in Entwicklungs- und Schwellenländern engagieren und damit ihr wirtschaftliches Engagement nachhaltig gestalten wollen. Eines der Projekte im Rahmen von develoPPP Classic ist die „Knauf Training Initiative“ (KTI) in ihrer Phase I (2018-2023) und Phase II (2021-2026). Knauf ist einer der führenden Hersteller von Baustoffen auf Gipsbasis in Europa und darüber hinaus auf die Produktion von Dämmstoffen und Zementprodukten spezialisiert.
Hauptziel der KTI ist die Einrichtung von Schulungszentren zur Verbesserung der technischen Qualifikation und der Beschäftigungsfähigkeit von Jugendlichen, Studenten und Facharbeitern im Bereich des Trockenbaus und verwandter Produkte. In den Zentren werden sowohl praktische als auch theoretische Module angeboten, die Installateuren, Architekten/Bauingenieuren, akademischem Personal und Arbeitslosen umfassende Kenntnisse über die Anwendung von Trockenbauverfahren vermitteln. Die Initiative soll den Menschen die Möglichkeit geben, eine Weiterbildung zu absolvieren, die langfristig zu nachhaltigen beruflichen Perspektiven führen soll.
Die CEval GmbH wurde von DEG Impulse beauftragt, die KTI zu evaluieren. Die Evaluation bewertete die Relevanz, Kohärenz, Effektivität, Effizienz, Wirkung und Nachhaltigkeit der KTI, identifizierte methodische Lessons Leanrt und Schlussfolgerungen, die sich aus den Ergebnissen ergeben und liefert evidenzbasierte, umsetzbare Empfehlungen für DEG Impulse und Knauf. Darüber hinaus integrierte die Evaluation eine Gender-Perspektive, um die Auswirkungen der Initiative auf Gender Mainstreaming und die Stärkung der Rolle von Frauen zu untersuchen. Schließlich untersuchte die Evaluation die Additionalität der Initiative, d.h. inwieweit durch die finanzielle Unterstützung von DEG Impulse weitere und/oder zusätzliche Wirkungen erzielt wurden.
Die Evaluation folgte einem Mixed-Methods-Fallstudiendesign, bei dem Primärdaten mittels Einzel- und Gruppeninterviews in Deutschland und drei Zielländern (Ägypten, Algerien und Mexiko) sowie im Rahmen einer halbstandardisierten Online-Befragung von Mitarbeiter*innen von Trainingszentren in nicht besuchten Ländern erhoben wurden. Sekundärdaten, darunter Monitoring-Berichte, Schulungsmaterialien und TZ-Umfragedaten, wurden im Rahmen einer Desk-Studie ausgewertet. Das Evaluationsteam führte Interviews mit den Mitarbeiter*innen, Interessenvertretern und Begünstigten durch, um eine angemessene Vertretung der verschiedenen Stakeholder sicherzustellen.
Die Auswertungen umfassten eine qualitative Inhaltsanalyse von Textdokumenten mittels MaxQDA sowie eine soweit möglich nach Geschlecht und Land aufgeschlüsselte deskriptive statistische Analyse der quantitativen Daten aus den Erhebungen.
Im Anschluss an die Evaluation wurde das CEval von Knauf mit der Entwicklung und Betreuung eines weltweit eingesetzten Online-Monitoringsystems zur kontinuierlichen Wirkungserfassung an den Schulungszentren beauftragt
#eSkills4Girls Initiative
Die Initiative #eSkills4Girls zielt darauf ab, die digitale Kluft zwischen den Geschlechtern zu schließen, indem der Zugang von Frauen und Mädchen zu (Weiter-)Bildungsmaßnahmen zur Verbesserung ihrer digitalen Kompetenzen gefördert wird. Die Initiative wurde 2017 vom BMZ im Rahmen der deutschen G20-Präsidentschaft ins Leben gerufen und vom Sektorvorhaben (SV) Bildung der Deutschen Gesellschaft für internationale Zusammenarbeit (GIZ) verwaltet. Seitdem hat die Initiative Partnerschaften mit dem privaten und öffentlichen Sektor aufgebaut und ist EQUALS beigetreten, der globalen Multi-Stakeholder-Partnerschaft zur Förderung der Geschlechtergleichstellung im digitalen Zeitalter.
Um die digitalen Fähigkeiten von Frauen und Mädchen zu verbessern, richtete die Initiative den #eSkills4Girls-Fonds ein, um 27 bestehenden Bildungspartnerschaften über EQUALS eine Finanzierung zukommen zu lassen. Außerdem fungierte #eSkills4Girls als Community-Manager für 9 bilaterale Projekte, die durch das BMZ finanziert wurden. Weitere Aktivitäten von #eSkills4Girls zielen darauf ab, politische Entscheidungsträger*innen für das Thema zu sensibilisieren, weibliche Vorbilder zu präsentieren sowie Austausch und Lernen zwischen den Projekten zu fördern.
Die CEval GmbH wurde mit der Durchführung einer Wirkungsevaluation von #eSkills4Girls durch die GIZ beauftragt. Ziel der Evaluation war es, ein besseres Verständnis dafür zu erlangen, inwieweit die verschiedenen Aktivitäten ihre jeweiligen Ziele erreicht haben. Auf der Grundlage der Evaluierungsfragen wurde die Initiative anhand des OECD-DAC-Kriteriums „Wirksamkeit“ bewertet. Um die fehlenden Informationen und Daten nach der anfänglichen Prüfung vorhandener Sekundärdaten zu ergänzen, wurde eine Datenerhebung mittels Onlinefragebögen für die Unterauftragnehmer des #eSkills4Girls Fund durchgeführt. Darüber hinaus wurden Projektberichte und Monitroringdaten der bilaterale Projektpartner ausgewertet sowie Fokusgruppendiskussionen und Einzelinterviews mit Vertreter*innen auf Projektebene durchgeführt.
Project Evaluation: Promotion of Adult Education Uganda
Das Institut für Internationale Zusammenarbeit des Deutschen Volkshochschul-Verbandes (DVV International) unterstützt die Regierung von Uganda bei der Umsetzung des Programms Integrated Community Learning for Wealth Creation (ICOLEW). Im Rahmen des Programms hat der DVV gemeinsam mit Regierungspartnern die Einführung von Community Learning Centres (CLC) in sechs Distrikten initiiert, die alle größeren Gebiete Ugandas abdecken. Die CLC bieten eine Reihe von Lernmöglichkeiten und Dienstleistungen für Jugendliche und Erwachsene aus den umliegenden Gemeinden zu Themen wie funktionale Alphabetisierung/Numerierung, andere Formen der nicht-formalen Lebensunterhaltssicherung/Berufsausbildung, Gesundheit und Hygiene sowie unternehmerische Fähigkeiten.
DVV International hat die CEval GmbH beauftragt, den Erfolg des CLC-Ansatzes zu evaluieren. Das Evaluierungsteam bewertet, inwieweit die Einführung von CLC erfolgreich war und seine Ziele erreicht hat. Die Evaluierung orientiert sich an den OECD-DAC-Kriterien und wird durch eine vom CEval-Team entwickelte Evaluierungsmatrix strukturiert. Während einer einwöchigen Feldmission in Uganda wird das Evaluierungsteam die CLCs besuchen, um durch Interviews und Fokusgruppendiskussionen qualitative Daten zu sammeln. Die Daten werden mittels qualitativer Inhaltsanalyse ausgewertet. Die Ergebnisse werden in einem umfassenden Evaluierungsbericht vorgestellt und diskutiert.
UNICEF Thailand: Repräsentative Studie über Kinderbetreuungsdienste
CEval unterstützt PROMAN bei der Durchführung einer nationalen Mixed-Methods-Studie, die von UNICEF Thailand in Auftrag gegeben wurde. Ziel der Studie ist das Angebot und die Nachfrage von Betreuungseinrichtungen für Kinder unter drei Jahren in Thailand über das gesamte öffentlich-private Kontinuum hinweg zu untersuchen und die Kosten der Untätigkeit zu bewerten.
CEval ist damit beauftragt, eine Stichprobenstrategie zu entwickeln und umzusetzen, die die Grundlage für eine landesweite, repräsentative Studie bildet. Die Stichprobenstrategie ermöglicht die anschließende qualitative und quantitative Datenerhebung. CEval ist auch für die Unterstützung der Instrumentenentwicklung, einschließlich der Haushalts- und Anbieterbefragungen, das Hosting der Erhebungsinstrumente, die Anleitung der lokalen Partner bei der Datenerhebung und das Datenqualitätsmanagement verantwortlich. Darüber hinaus unterstützt CEval seine(n) Kooperationspartner bei der Durchführung geeigneter deskriptiver und inferenzstatistischer Analysen.
Im Rahmen dieses Auftrags wird die Nachfrage nach Dienstleistungen prognostiziert, um eine Investitionsentscheidung für die Entwicklung einer nationalen Strategie für Kinderbetreuungsdienste für unter Dreijährige in Thailand zu treffen.
Evaluability Assessment des UNICEF-Länderprogramms für Jordanien 2023-2027
Mit der Bewertung der Evaluierbarkeit (Evaluability Assessment – EA) des UNICEF-Länderprogramms für Jordanien (JCO) sollte sichergestellt werden, dass die mittel- und langfristigen Ergebnisse der Programmziele letztlich nachgewiesen werden können. Die EA bezog sich auf das JCO-Länderprogramm 2023-2027, einschließlich der sechs Programmbereiche (Gesundheit und Ernährung, Bildung, Kinderschutz, Jugendliche und Jugend, WASH, Sozialpolitik und sozialer Schutz), der Monitoringsysteme, der Jahresplanung und der Evaluierungspläne sowie der sektorenübergreifenden Prioritäten (Gleichstellung der Geschlechter, Eingliederung von Menschen mit Behinderungen, Klimawandel, soziale Gerechtigkeit, Änderung des Sozialverhaltens (SBC) und Schutz vor sexueller Ausbeutung und Missbrauch (PSEA)).
Ziel der Bewertung der Evaluierbarkeit war es, (1) eine unabhängige Beurteilung darüber abzugeben, wie gut JCO auf die Evaluierung eines Länderprogramms oder eines strategischen Rahmens vorbereitet ist, und (2) Empfehlungen zur Verbesserung der Evaluierbarkeit des JCO Country Programme Document (CPD) abzugeben. Es sollte untersucht werden, ob die JCO geplant hat, die Hauptrisiken wirksam zu bewältigen, Mechanismen für die rechtzeitige Umsetzung der Evaluierungsempfehlungen einzurichten und ob sie über die wesentlichen Ressourcen und die Infrastruktur verfügt, die für den Nachweis der Erreichung der Ziele erforderlich sind. Die EA zielte darauf ab, die Vorbereitung der JCO auf die bevorstehende Evaluierung der CPD zu verbessern.
Bei der Bewertung der Evaluierbarkeit wurde ein theoriegestützter Ansatz verwendet, um die methodischen Voraussetzungen zu analysieren, die für die Bewertung der Effektivität, Wirksamkeit und der Nachhaltigkeit des UNICEF-Länderprogramms erforderlich sind. Zu diesen Voraussetzungen gehörten klare Definitionen der Programmergebnisse, die Verfügbarkeit von Ausgangsdaten und zeitnahe Zieldaten. Die EA zielte auch darauf ab, aussagekräftige Hypothesen aufzustellen, um die kausale Beziehung zwischen dem JCO und den beobachteten Entwicklungsergebnissen zu verstehen. Kontextfaktoren wurden als entscheidend für eine valide Analyse angesehen, wobei der Schwerpunkt auf der Identifizierung und Überwachung von Risiken und Rahmenbedingungen lag. Eine detaillierte Evaluierbarkeitsmatrix diente als Leitfaden für die systematische Analyse und die strukturierte Datenerhebung. Es wurde ein Mixed-Methods-Ansatz gewählt, bei dem primäre und sekundäre Datenquellen sowie qualitative und quantitative Methoden verwendet wurden, um Gültigkeit und Zuverlässigkeit zu gewährleisten. Die Beteiligung der Stakeholder war integraler Bestandteil der Studie und umfasste Interviews mit den Leitern der JCO-Sektionen und -Abteilungen, Konsultationen und Feedback-Schleifen, um verschiedene Perspektiven einzubeziehen.
Erarbeitung eines M&E-Konzepts für die internationale Projektarbeit des BBK
Das Referat Internationale Angelegenheiten im Bundesamt für Bevölkerungsschutz und Katastrophenhilfe (BBK) entwickelt im Rahmen des internationalen Engagements Deutschlands Projekte im Ausland. Diese basieren auf der Expertise im Zivil- und Katastrophenschutz und werden in Zusammenarbeit mit nationalen und lokalen Behörden im Ausland umgesetzt.
Das BBK hat die CEval GmbH beauftragt, es bei der Entwicklung eines bedarfsgerechten Monitoring- und Evaluierungssystems (M&E) für die internationale Projektarbeit zu unterstützen. Die Ziele des Auftrages waren: (i) die Erarbeitung eines M&E-Konzeptes für die internationale Projektarbeit des BBK unter Berücksichtigung bereits vorhandener Projektdokumente, der (politischen) Rahmenbedingungen und der strategischen Ausrichtung des BBK sowie unter Berücksichtigung der personellen Kapazitäten; (ii) die Weiterentwicklung bereits vorhandener bzw. die Entwicklung zusätzlicher Instrumente, um das wirkungsorientierte Monitoring der internationalen Projekte effizienter zu gestalten; (iii) die Vorstellung des Konzeptes und der Instrumente im Rahmen eines Workshops für die Projektmitarbeiterinnen und -mitarbeiter sowie die Projektleitungen des BBK.
Bei der Entwicklung des M&E-Systems für das Referat Internationale Angelegenheiten des BBK verfolgte die CEval GmbH einen theoriegeleiteten Ansatz, um die Grundlagen für ein wirkungsorientiertes M&E-System zu schaffen. Darüber hinaus verfolgte das Team einen partizipativen Ansatz unter enger Einbindung des Auftraggebers, um das M&E-System bestmöglich auf die Bedürfnisse des Auftraggebers auszurichten. Das Team beriet und unterstützte das BBK bei der Einführung von SMART-Indikatoren auf verschiedenen Ebenen für ein methodisch fundiertes M&E-System und führte einen M&E-Workshop für Projektmitarbeitende und Projektleitungen für die Projekte in Jordanien, der Ukraine und Tunesien durch.
Begleitevaluierung des DEval Förderprogramms Rigorous Impact Evaluation (RIE)
Im Rahmen des RIE-Förderprogramms wurde ein Matchmaking zwischen Akteuren aus Wissenschaft und EZ umgesetzt, aus dem die Förderung von neun rigorose Wirkungsevaluationen (RIE) hervorging, die zwischen März 2023 und September 2025 umgesetzt werden. Bewerben konnten sich wissenschaftliche Einrichtungen in Deutschland gemeinsam mit einem durch das deutsche Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) geförderten Entwicklungsprojekt. Das Programm hat zum Ziel Barrieren zur Umsetzung von RIE abzubauen und zu einer systematischen Verankerung von RIE in der deutschen Entwicklungszusammenarbeit beizutragen.
Die CEval GmbH wurde mit der Begleitevaluierung des RIE-Förderprogramms durch das Deutsche Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) beauftragt. Die Evaluation erfolgt entlang OECD-DAC Kriterien und baut auf einem umfassenden Analyseraster auf. Es kommt ein Methodenmix zum Einsatz: Die Projektanträge und Zwischenberichte der RIE werden durch einen systematischen Review ausgewertet, der durch ein Bewertungsraster strukturiert wird. Zu zwei Erhebungszeitpunkten werden leitfadengestützte Interviews mit allen relevanten Stakeholdergruppen des Programms geführt. Darüber hinaus wird eine standardisierte Online-Befragung eingesetzt, die die sich in einer Vollerhebung an alle Wissenschaftler*innen und Vertreter*innen der Durchführungsorganisationen sowie lokale Wissenschaftler*innen richtet, die direkt in die Umsetzung der neun RIE involviert sind.
Als innovative Methode, um den Blick in die Zukunft zurichten, wird darüber hinaus eine Delphi-Befragung umgesetzt. Für die erste Delphi-Runde werden internationale Expert*innen rekrutiert und in themenfokussierten Einzelinterviews deren Einschätzungen zur künftigen Nutzung von RIE in der deutschen EZ eruiert. Die Ergebnisse werden ausgewertet und in einer zweiten Befragungsrunde den Teilnehmer*innen des Panels in Form eines Online-Surveys zurückgespielt, um konvergierende und divergierende Einschätzungen und Sichtweisen von Expert*innen herauszuarbeiten, zu gewichten und zu priorisieren.
Zentrale Projektevaluierung: Agribusiness Facilities for Africa
Das Projekt Agribusiness Facilities for Africa (ABF) dient als panafrikanische Wissens- und Beratungs-Hub für Schulungen im Bereich der Agrarwirtschaft und hat mit Partnern in rund 30 Ländern auf dem gesamten Kontinent zusammengearbeitet. Mit dem Ziel, die Wirksamkeit privater und öffentlicher Fördermaßnahmen für landwirtschaftliche Kleinst-, Klein- und mittler Betriebe (KKMU) in Afrika zu verbessern, entwickelt ABF Schulungskonzepte für Landwirte und Verarbeiter, die den spezifischen Bedürfnissen ihrer Partner entsprechen. Die Farmer Business School (FBS) vermittelt Landwirten und Produzenten Prinzipien der Landwirtschaft als Business und verspricht, die Managementfähigkeiten von KKMU für bessere und diversifizierte Einkommen und Ernährung zu stärken. Weitere von der ABF angebotene Ausbildungsmodule sind die Processor Business School (PBS), die Cooperative Business School (CBS) und die erst kürzlich entwickelte Aquaculture Business School (ABS).
Die Evaluation erfolgte nach den Vorgaben und Leitlinien für zentrale Projektevaluierungen der GIZ, die ein standardisiertes Analyseraster (Evaluationsmatrix) beinhalten, das auf den OECD-DAC Kriterien (Relevanz, Kohärenz, Effizienz, Effektivität, Impact, Nachhaltigkeit) aufbaut. Das Evaluierungsteam wendet qualitative Methoden zur Datenerhebung und -analyse an. Für die Primärdatenerhebung werden semi-strukturierte Interviews und Fokusgruppendiskussionen (FGDs) durchgeführt. Während einer dreiwöchigen Feldstudie in Uganda, Sambia und Malawi wird das Evaluierungsteam Partnerprojekte der ABF besuchen, um die Umsetzung und die Auswirkungen der FBS-, CBS- und ABS-Trainingskonzepte vor Ort zu untersuchen. Auf der Grundlage der schriftlichen Transkripte der Interviews, der FGDs und der umfangreichen Projektunterlagen wird eine qualitative Inhaltsanalyse durchgeführt. Hinsichtlich der Prüfung von Kausalzusammenhängen zwischen Projektaktivitäten und potentiellen Wirkungen wird ein kontributionsanalytischer Ansatz verfolgt.
Evaluation des Diakonie Katastrophenhilfe Indonesien-Programms 2018-2023
Das DKH-Programm für Indonesien wurde unmittelbar nach den drei großen Naturkatastrophen ins Leben gerufen, die sich 2018 in Lombok (Erdbeben), Zentralsulawesi (Erdbeben und Tsunami) und in der Sundastraße (Tsunami) ereigneten. Das Programm bestand aus acht Einzelprojekten, die von zwei indonesischen Partnerorganisationen in fünf Provinzen umgesetzt wurden und umfasste unmittelbare Nothilfemaßnahmen, Wiederaufbauhilfe und Aktivitäten zur Stärkung des Katastrophenschutzes mit Schwerpunkt auf der Inklusion von Menschen mit Behinderungen und der Priorisierung der am stärksten gefährdeten Gruppen. CEval wurde beauftragt, eine unabhängige Bewertung des Programms auf der Grundlage der OECD-DAC-Kriterien vorzunehmen.
Die Evaluation baute auf der umfassenden Beteiligung der Stakeholder sowie auf einem mixed-methods und theoriebasiertem Ansatz auf. Hierfür wurde eine umfassende Theory of Change (ToC) auf Programmebene und eine detaillierte Evaluationsmatrix entwickelt. Eine Systematic Review von Projektdokumenten wurde mit einer dreiwöchige Vor-Ort-Studie in Indonesien kombiniert. Die Systamatic Review zur Aggregation von Monitoringdaten und wirkungsrelevanten Informationen wurde auf der Basis eines standardisierten Bewertungsraster durchgeführt. Während der Vor-Ort-Studie führte das Evaluationsteam 29 Interviews und 29 Fokusgruppendiskussionen mit Programm- und Projektmitarbeitern, lokalen Behörden und Zielgruppen durch. Die Primärdaten wurden auf der Basis der qualitativen Inhaltsanalyse ausgewertet. Die Ergebnisse wurden in einem umfassenden Evaluierungsbericht dokumentiert und in mehreren Workshops vorgestellt.
Systemevaluierung des Evaluierungssystems der ‚Internationalen Zusammenarbeit‘ der Physikalisch-Technischen Bundesanstalt
Im Jahr 2021 wurde die CEval GmbH von der Physikalisch-Technischen Bundesanstalt (PTB) mit einer Systemevaluierung beauftragt. Übergeordnetes Ziel war eine strategische Weiterentwicklung des Evaluationssystems der PTB. Relevante Punkte des Analyserasters und der Evaluationsfragen waren:
1. Evaluationspolitik, Ziele, Strategien und Kriterien der Evaluation
2. Planung und Ablauf von Evaluationen, Steuerungsprozesse, Formen und Umfang der Evaluationen, Finanzressourcen, Verhältnis zum Gesamtbudget
3. Standards der Evaluation, Qualitätssicherungssystem, Wirkungsorientierung, Methodische Qualität
4. Verankerung der Evaluation in der Organisation, Unabhängigkeit der Evaluation, Glaubwürdigkeit der Evaluation
5. Personalkapazität, Qualifizierung, Gutachter, Weiterbildung, Vernetzung mit der Fachgemeinschaft
6. Nutzung von Evaluationsergebnissen (Prozesse der Nutzung, Produkte der Evaluation, Verbreitung der Ergebnisse, Wissensmanagementsystem)
Methodisch wurden hierfür verschiedene Datenquellen, wie Dokumente und Evaluationsberichte, mit einbezogen und 28 leitfadengestützte qualitative Interviews, sowie eine Gruppendiskussion durchgeführt.