Organisationsberatung, Wirkungsevaluation
Projektstart: April 2019
Projektende: März 2022
Faktoren für eine erfolgreiche Berufsbildungszusammenarbeit mit der Volksrepublik China (efach) – ein Vergleich staatlicher, zivilgesellschaftlicher und privatwirtschaftlicher Konzepte
Im Forschungsprojekt "Faktoren für eine erfolgreiche Berufsbildungszusammenarbeit mit der Volksrepublik China (efach) - ein Vergleich staatlicher, zivilgesellschaftlicher und privatwirtschaftlicher Konzepte" sollte erstmals untersucht werden, ob [Mehr anzeigen]Im Forschungsprojekt "Faktoren für eine erfolgreiche Berufsbildungszusammenarbeit mit der Volksrepublik China (efach) - ein Vergleich staatlicher, zivilgesellschaftlicher und privatwirtschaftlicher Konzepte" sollte erstmals untersucht werden, ob in bisherigen Forschungsarbeiten identifizierte und zu einem Schlüsselgrößenmodell zusammengeführte Erfolgsfaktoren internationaler Berufsbildungskooperationen auch für Kooperationen außerhalb der Entwicklungszusammenarbeit, im privatwirtschaftlichen Bereich und in China gelten. Aus der quantitativen und qualitativen Untersuchung staatlicher, zivilgesellschaftlicher und privatwirtschaftlicher Berufsbildungskooperationen wurden allgemeine Handlungsempfehlungen generiert und einzelne Projekte oder Maßnahmen als Best-Practice-Beispiele herausgestellt. Tagungen und Publikationen beförderten eine umfassende Dissemination, Diskussion und Nutzung der gewonnenen Erkenntnisse in der internationalen Berufsbildungsforschung und -praxis.
Management: Reinhard Stockmann | Mitarbeit: Wolfgang Meyer, Selina RöhrigAuftraggeber: Bundesministerium für Bildung und Forschung
Instrumentenevaluation
Projektstart: Oktober 2018
Projektende: August 2021
Erstellung einer AMPA-Übersicht für 20 multilaterale Organisationen sowie zweier Gesamtübersichten
Das Annual Multilateral Performance Assessment (AMPA) ist ein Instrument der Direktion für Entwicklung und Zusammenarbeit (DEZA) zur jährlichen Leistungsbeurteilung ihrer prioritären multilateralen Organisationen. Ziel sind [Mehr anzeigen]Das Annual Multilateral Performance Assessment (AMPA) ist ein Instrument der Direktion für Entwicklung und Zusammenarbeit (DEZA) zur jährlichen Leistungsbeurteilung ihrer prioritären multilateralen Organisationen. Ziel sind möglichst neutrale und unabhängige Bewertungen dieser Organisationen, mit geringem Aufwand von Ressourcen auf Basis von existierenden und zugänglichen Informationen. AMPA basiert auf 1) MOPAN-Berichten (externe Quelle), 2) den CCM Annual Reports (DEZA-Beurteilung) sowie 3) Self-Assessments der multilateralen Organisationen (z.B. Scorecards).
Im Rahmen eines beratenden Auswertungsauftrags hat das CEval gemeinsam mit dem Auftraggeber konkrete Maßnahmen zur Optimierung des Performance Assessments erarbeitet.
Management: Reinhard StockmannAuftraggeber: Direktion für Entwicklung und Zusammenarbeit
Organisationsberatung, Systemevaluation
Projektstart: Januar 2021
Projektende: Juli 2021
Systemevaluierung des Evaluierungssystems der ‚Internationalen Zusammenarbeit‘ der Physikalisch-Technischen Bundesanstalt
Im Jahr 2021 wurde die CEval GmbH von der Physikalisch-Technischen Bundesanstalt (PTB) mit einer Systemevaluierung beauftragt. Übergeordnetes Ziel war eine strategische Weiterentwicklung des Evaluationssystems der [Mehr anzeigen]Im Jahr 2021 wurde die CEval GmbH von der Physikalisch-Technischen Bundesanstalt (PTB) mit einer Systemevaluierung beauftragt. Übergeordnetes Ziel war eine strategische Weiterentwicklung des Evaluationssystems der PTB. Relevante Punkte des Analyserasters und der Evaluationsfragen waren:
1. Evaluationspolitik, Ziele, Strategien und Kriterien der Evaluation
2. Planung und Ablauf von Evaluationen, Steuerungsprozesse, Formen und Umfang der Evaluationen, Finanzressourcen, Verhältnis zum Gesamtbudget
3. Standards der Evaluation, Qualitätssicherungssystem, Wirkungsorientierung, Methodische Qualität
4. Verankerung der Evaluation in der Organisation, Unabhängigkeit der Evaluation, Glaubwürdigkeit der Evaluation
5. Personalkapazität, Qualifizierung, Gutachter, Weiterbildung, Vernetzung mit der Fachgemeinschaft
6. Nutzung von Evaluationsergebnissen (Prozesse der Nutzung, Produkte der Evaluation, Verbreitung der Ergebnisse, Wissensmanagementsystem)
Methodisch wurden hierfür verschiedene Datenquellen, wie Dokumente und Evaluationsberichte, mit einbezogen und 28 leitfadengestützte qualitative Interviews, sowie eine Gruppendiskussion durchgeführt.
Management: Reinhard Stockmann | Mitarbeit: Niklas ZierkeAuftraggeber: Physikalisch-Technische Bundesanstalt
Ex-Post und Schlussevaluation, Wirkungsevaluation
Projektstart: August 2019
Projektende: Oktober 2019
Evaluation von zwei Schul-Rehabilitations Projekten in Nepal
Während zwei massiver Erdbeben in Nepal im Jahr 2015 wurden tausende von Schulen zerstört. Zusammen mit dem Konsortiumpartnern Helvetas und Schweizer Rot Kreuz errichtete Caritas [Mehr anzeigen]Während zwei massiver Erdbeben in Nepal im Jahr 2015 wurden tausende von Schulen zerstört. Zusammen mit dem Konsortiumpartnern Helvetas und Schweizer Rot Kreuz errichtete Caritas Schweiz im Zuge eines Rehabilitationsprojektes 36 Schulen in der schwer zugänglichen Bergregion Sindhupalchok. Das Projekt umfasste Trainingsmaßnahmen zu "disaster risk reduction", Instandhaltung und WASH (water, sanitation, hygiene) sowie soziale Interaktion mit Schulabbrecher:innen.
Die Finale Evaluation richtete sich an drei Kriterien der Core Humanitarian Standards aus (Appropriateness and relevance, effectiveness and timeliness, preparedness and resilience) um Lehren für weitere Katastrophenhilfseinsätze zu gewinnen.
Die Evaluation bediente sich verschiedener Methoden und bezog neben Einzelinterviews mit Projektverantwortlichen, Vertreter:innen der nationalen Autorität, Teammitglieder:innen, Schulleiter:innen und Bürgermeister:innen auch durch Gruppendiskussionen die Stimmen der Schulverwaltungsgremien und Lehrer:innen ein. Eine umfangreiche Befragung mehrerer hundert Schüler:innen, Eltern und Lehrer:innen ermöglichte eine vertiefende quantitative Bewertung.
Management: Reinhard Stockmann | Mitarbeit: Teresa BöttcherAuftraggeber: Caritas Schweiz
Projektstart: Januar 2017
Projektende: Dezember 2017
Wissenschaftliche Beratung der Stabsstelle Evaluierung der GIZ zur Entwicklung aggregierter Wirkungsindikatoren
Die Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH trägt auf vielfältige Weise zur Lösung regionaler und globaler Probleme bei. Dazu gehören u.a. die Eindämmung der Folgen [Mehr anzeigen]Die Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH trägt auf vielfältige Weise zur Lösung regionaler und globaler Probleme bei. Dazu gehören u.a. die Eindämmung der Folgen des Klimawandels, die Bekämpfung von Armut und Hunger oder die Schaffung eines gleichberechtigten Zugangs zu Bildung und Beschäftigung von Männern und Frauen. Für die Erfassung der durch ihre Vorhaben erbrachten Beiträge verfügt die GIZ über eine Reihe von Instrumenten und Verfahren zur Wirkungsmessung und -bewertung. Diese Instrumente und Verfahren sind jedoch im Wesentlichen auf die Berichterstattung an das BMZ ausgerichtet sowie darauf, Erkenntnisse zur Verbesserung einzelner Interventionen (PEVs) oder zur Weiterentwicklung der strategischen Ausrichtung der GIZ im jeweiligen Sektor (USEs) zu generieren. Auf der Ebene der Gesamtorganisation fehlte es jedoch an vergleichbaren Ansätzen zur Darstellung der Beiträge der GIZ insgesamt, bspw. gegenüber der Öffentlichkeit oder dem Parlament (insb. AWZ).
Um die GIZ auch auf dieser Ebene auskunftsfähig zu machen, initiierte die Stabsstelle Monitoring und Evaluierung 2014 einen Prozess zur Entwicklung von aggregierten Indikatoren, die Aussagen über den gemeinsamen Beitrag eines möglichst großen Teils der Vorhaben in den verschiedenen Sektoren, in denen die GIZ aktiv ist, erlauben.
Management: Stefan Silvestrini | Mitarbeit: Reinhard Stockmann, Wolfgang MeyerAuftraggeber: Deutsche Gesellschaft für Internationale Zusammenarbeit
Begleitende Evaluation, Entwicklung M&E-System
Projektstart: Oktober 2008
Projektende: Dezember 2013
Entwicklung und Umsetzung eines gendersensitiven kontinuierlichen M&E-Systems für das Plan Indien Projekt „ENGENDERED! – Minimizing Gender Gap“
Ziel des von Plan International Indien umgesetzten Projekts ist es, die strukturellen Ursachen für die Benachteiligung von Frauen in der indischen Gesellschaft zu identifizieren und [Mehr anzeigen]Ziel des von Plan International Indien umgesetzten Projekts ist es, die strukturellen Ursachen für die Benachteiligung von Frauen in der indischen Gesellschaft zu identifizieren und zu beseitigen. Hierfür sollen alle Projektverantwortlichen der Partnerorganisationen zur Umsetzung gender-gerechter Maßnahmen sowie zum Monitoring und zur Evaluation der damit erzeugten Wirkungen befähigt werden.
Aufgabe des CEval war es, die Entwicklung überprüfbarer Wirkungshypothesen zu unterstützen, gemeinsam mit den Verantwortlichen ein praktikables M&E-System zu erarbeiten sowie eine Zwischen- und eine Abschlussevaluation umzusetzen. Hierfür wurde zu Beginn des Projekts Ende 2008 ein Workshop durchgeführt, in dem der zuvor von Plan Indien entwickelte LogFrame diskutiert und im Hinblick auf die Messbarkeit der darin enthaltenen Indikatoren überarbeitet wurde. Als weitere Maßnahmen wurden 2009 eine Schulung vor Ort sowie weitere Beratungsleistungen im Projektverlauf durchgeführt. 2015 führte das CEval eine Abschlussevaluation des Projektes durch.
Management: Reinhard Stockmann | Mitarbeit: Stefan Silvestrini, Christina GollanAuftraggeber: Plan International Deutschland
Begleitende Evaluation
Projektstart: Dezember 2012
Projektende: Oktober 2013
Independent Evaluation of the NDPHS
Das 2003 gegründete Netzwerk Northern Dimension Partnership in Public Health and Social Well-Being (NDPHS) zielt auf eine Verbesserung der gesundheitlichen und sozialen Bedingungen in den [Mehr anzeigen]Das 2003 gegründete Netzwerk Northern Dimension Partnership in Public Health and Social Well-Being (NDPHS) zielt auf eine Verbesserung der gesundheitlichen und sozialen Bedingungen in den Ländern des Northern Dimension Area ab und legt hierbei seinen Schwerpunkt auf die nordöstlichen Länder Europas.
Aufgabe der unabhängigen Evaluation des Netzwerks war es, die NDPHS-Aktivitäten der ersten fünf Jahre seit Bestehen des Netzwerks zu analysieren und Empfehlungen zu dessen Weiterentwicklung zu erarbeiten. Hierbei standen die Struktur und Organisation des Netzwerks, dessen politische Bedeutung sowie Wahrnehmung und die Identifikation wichtiger politischer, technischer und administrativer Handlungsfelder im Zentrum des Interesses.
Zur Datenerhebung wurden Sekundäranalysen, Intensivinterviews mit ausgewählten Netzwerkpartnern sowie eine standardisierte Befragung mit Vertretern aller beteiligten Länder eingesetzt.
Management: Reinhard StockmannEx-Post und Schlussevaluation
Projektstart: Dezember 2010
Projektende: April 2011
Schlussevaluation der Projekte der World University Services im Kosovo und in Serbien zur Reform des Hochschulsektors
Gegenstand der Schlussevaluation waren die beiden von WUS umgesetzten Projekte "Building Quality, Knowledge and Skills for Social and Economic Development & Support to Reforms of [Mehr anzeigen]Gegenstand der Schlussevaluation waren die beiden von WUS umgesetzten Projekte "Building Quality, Knowledge and Skills for Social and Economic Development & Support to Reforms of Higher Education in Kosovo 2008-2011" und "Serbia 2007-2010: Improving Quality, Knowledge & Skills for Economic Development & Support to Reforms of Higher Education in Serbia". Ziel dieser Projekte war die Unterstützung der Reformierung der jeweiligen Hochschulsektoren in den beiden Ländern im Hinblick auf eine bessere, bedarfsorientiertere Ausbildung. Damit sollte die Beschäftigungsfähigkeit und entsprechend die Beschäftigtenquote bei den Hochschulabsolventen gesteigert werden.
Weitere Informationen zu den Projekten erhalten Sie unter:
http://www.wus-austria.org/allprojects/38/15.html
Aufgabe der vom CEval durchgeführten Evaluation war es, gemäß der DAC-Kriterien, die Relevanz, Umsetzungseffizienz, Effektivität, Wirksamkeit sowie die Nachhaltigkeit der Projektmaßnahmen in beiden Ländern zu untersuchen und im Hinblick auf die Zielerreichung bewerten. Die Untersuchung war als Desk-Study angelegt, bei der neben Programmdokumenten weitere Hintergrundrecherchen zum bisherigen Entwicklungsverlauf der Sektoren vorgenommen wurden.
Management: Reinhard StockmannAuftraggeber: World University Services (WUS)
Begleitende Evaluation
Projektstart: September 2010
Projektende: März 2011
Evaluation des Moduls “Famulaturen und PJ-Abschnitte“ des DAAD-Ärzteprogramms/ PAGEL
Gegenstand der Evaluation war das Modul Famulaturen und PJ-Abschnitte des DAAD-Ärzteprogramms/ PAGEL. Im Rahmen dieses Moduls wurden Medizinstudierenden deutscher Hochschulen aus Entwicklungsländern ein- bis zweimonatige [Mehr anzeigen]Gegenstand der Evaluation war das Modul Famulaturen und PJ-Abschnitte des DAAD-Ärzteprogramms/ PAGEL. Im Rahmen dieses Moduls wurden Medizinstudierenden deutscher Hochschulen aus Entwicklungsländern ein- bis zweimonatige Famulaturen bzw. viermonatige PJ-Tertiale in ihren Heimatländern oder anderen Entwicklungsländern ermöglicht. Durch diesen Aufenthalt hatten die Studierenden die Möglichkeit, sich mit der beruflichen Realität und den benötigten medizinischen Kompetenzen im Heimatland vertraut zu machen. Dies sollte letztendlich nach Abschluss des Studiums deren Rückkehr fördern, deren Reintegration erleichtern und somit dem brain drain entgegenwirken.
Im Rahmen der Evaluationsstudie wurde die Zielerreichung und Wirkung des Moduls Famulaturen und PJ-Abschnitte untersucht. Ziel der Evaluation war es, Optimierungspotentiale für die laufende Programmentwicklung herauszuarbeiten. Dabei wurde besonderes Augenmerk auf die am Ärzteprogramm beteiligten Universitäten und deren Interesse an diesem Modul gelegt.
Aus den Erkenntnissen der Evaluation wurden konkrete Schlussfolgerungen und Empfehlungen für die Programmausschreibung des Ärzteprogramms/ PAGEL im Frühjahr 2011 abgeleitet.
Management: Reinhard StockmannAuftraggeber: Deutscher Akademischer Austauschdienst
Ex-Post und Schlussevaluation
Projektstart: Oktober 2010
Projektende: Februar 2011
Schlussevaluation der „Child Legal Support and Protection Network Initiative“
Gegenstand der Schlussevaluation war das von Plan International Deutschland e.V. umgesetzte Programm "Child Legal Support & Protection Network Initiative" in China, das auf eine umfassende [Mehr anzeigen]Gegenstand der Schlussevaluation war das von Plan International Deutschland e.V. umgesetzte Programm "Child Legal Support & Protection Network Initiative" in China, das auf eine umfassende Betreuung von Kindern abzielt, die misshandelt wurden oder selbst in Konflikt mit dem Gesetz gekommen sind.
Schwerpunkte der Schlussevaluation lagen auf der Identifikation und Bewertung der bislang erzielten Wirkungen und ihrer Nachhaltigkeit sowie der Rolle und der Zusammenarbeit der beteiligten Akteure. Darüber hinaus sollten auf Grundlage der Untersuchungsergebnisse Empfehlungen für die vorgesehene zweite Phase ab 2011 entwickelt werden. Gemäß dem Multimethodenansatz des CEval kamen bei der Datenerhebung neben leitfadengestützten Intensivinterviews mit den Programmverantwortlichen und Vertretern der Partnerorganisationen, standardisierte Befragungen weiterer Programmbeteiligter (z.B. freiwillige Unterstützer) sowie eine Dokumentenanalyse zum Einsatz.
Management: Reinhard StockmannAuftraggeber: Plan International Deutschland
