Begleitende Evaluation des Förderprogramms „Collegium Cusanum“
Das Programm „Collegium Cusanum“ des Cusanuswerks – Bischöfliche Studienförderung richtet sich an alle Stipendiat:innen des Cusanuswerks (Studierende und Promovierende) sowie Altcusanerinnen und Altcusaner, die eine berufliche Tätigkeit im schulischen bzw. pädagogischen Bereich anstreben oder bereits ausüben. Das Förderprogramm leistet damit einen nachhaltigen Beitrag zur Persönlichkeitsentwicklung und Qualifizierung von Lehrerinnen und Lehrern sowie Pädagog:innen. Hierzu setzt das Programm auf Mentoringelemente, also eine tutorielle Betreuung von Stipendiat:innen des Cusanuswerks durch berufserfahrene Lehrer:innen sowie Pädagog:innen. Die CEval führt zur Qualitätssicherung prozessbegleitende, externe Evaluationen durch. Zentrale Aufgabe dieser Evaluation ist es, den durchführungsverantwortlichen Mitarbeiter:innen des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse sind entsprechend der Zielsetzungen des Programms Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen, zur Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten. Methodisch stützt sich die Evaluation auf standardisierte Online-Befragungen der Mentees und Mentor:innen zu drei Zeitpunkten.
Study program evaluations of the Theaterakademie August Everding
The August Everding Theatre Academy, Munich, is an academic teaching and learning theatre that offers eight courses of study in the field of stage professions at Bachelor’s and Master’s level. These are realised in cooperation with the four Munich universities and the three Munich state theatres.
The Theatre Academy has commissioned CEval GmbH to carry out evaluations of five study programmes. The aim is to collect an evaluation of the theoretical and practical orientation by the students of the various study programmes in the sense of quality development, in order to further optimise the study programmes on the basis of this data. For this purpose, the students are surveyed online using partially standardised questionnaires.
Rahmenvertrag zur Weiterentwicklung und Implementierung von Ansätzen der systematischen Wirkungserfassung mittels Monitoring und Evaluationen für DAAD-Programme (2020)
Der DAAD versteht sich als moderne Wissenschaftsorganisation, die durch kontinuierliches Lernen und die Bereitschaft zur Veränderung ihrer Arbeit bestrebt ist, deren Wirksamkeit kontinuierlich zu verbessern. Dieser Ansatz ist in dem 2019 verabschiedeten Integrierten Monitoring- und Evaluationskonzept des DAAD ausformuliert, in dem institutionelles Lernen, Qualitätssicherung, Wirkungsorientierung, Transparenz in Prozessen und Legitimation als wichtige Dimensionen benannt werden, auf die die verschiedenen Monitoring- und Evaluationsaktivitäten ausgerichtet sind. Aus übergeordneter Perspektive soll so auch die strategische Ausrichtung des DAAD und seiner Programme evidenzbasiert unterstützt werden.
Der Rahmenvertrag mit der CEval GmbH zielt darauf ab, den steigenden Ansprüchen an Wirkungsorientierung und -kontrolle in den verschiedenen Förderbereichen des DAAD noch besser gerecht zu werden, indem die Umsetzung der Wirkungsorientierung und -kontrolle für bestehende und neue Programme in den AA- und BMBF-Förderbereichen unterstützt und die Wirkungsorientierung neu konzipierter BMZ-Programme begleitet werden.
Art der Leistungen (erbrachte Gewerke):
– Entwicklung von Wirkungsgefügen und Indikatorenkatalogen
– (Weiter-)Entwicklung programmspezifischer Monitoring- Instrumente (z.B. Berichtsformate, Fragebögen, Evaluationsbögen)
– (Weiter-)Entwicklung der programmsteuernden Dokumente entsprechend der Anforderungen des Monitoring-Konzepts (z.B. Förderrahmen und begleitende Ausschreibungsunterlagen, Handreichung WoM, Datenauswertungsleitfaden, interne programmspezifische Monitoring-Konzepte und Arbeitsanweisungen, Strategiedokumente)
– Datenaufbereitung und -analyse, Ableitung von Steuerungsentscheidungen
– Capacity Development: interne und externe Workshops zur Umsetzung des Wirkungsorientierten Monitorings (WoM)
– Methodische und/oder vor-Ort-Begleitung im Rahmen von Monitoring-Besuchen bei Projektnehmern
– Beratung zu weiterführenden Ansätzen und Methoden im Bereich Monitoring und Evaluation
– Zusätzliche Beratungs- und Schulungsleistungen
Evaluation der Forschungsstipendienprogramme für Wissenschaftlter:innen aus Deutschland (FLF, JSPS, MOST) der Alexander von Humboldt-Stiftung
Die Alexander von Humboldt-Stiftung (AvH) ermöglicht hochqualifizierten Wissenschaftler:innen aus aller Welt längerfristige Forschungsaufenthalte in Deutschland und unterstützt die sich daraus ergebenden wissenschaftlichen und kulturellen Verbindungen zwischen In- und Ausland. Das Netzwerk der Stiftung umfasst mittlerweile über 29.000 Wissenschaftler:innen aller Fachgebiete in mehr als 140 Ländern.
Zur Stärkung des Humboldt-Netzwerkes beinhaltet das Programmportfolio der AvH auch drei Forschungsstipendienprogramme, die Wissenschaftler:innen aus Deutschland unterstützen, an Forschungseinrichtungen im Ausland zu arbeiten. Das BMBF-finanzierte Feodor Lynen-Forschungsstipendienprogramm (FLF) ermöglicht deutschen Wissenschaftler:innen einen längerfristigen Forschungsaufenthalt im Ausland. Auf diese Weise soll sowohl das bestehende ausländische Humboldt-Netzwerk gestärkt als auch das Potenzial der Humboldt-Alumni im Ausland in ihrer Funktion als wissenschaftliche Beratende und „Türöffner“ für (Nachwuchs-)Wissenschaftler:innen aus Deutschland erschlossen werden. Für die Zielländer Japan und Taiwan kooperiert die Humboldt-Stiftung mit der Japan Society for the Promotion of Science (JSPS) und dem Ministry of Science and Technology, Taiwan (MOST) im Rahmen des JSPS-Programms und des MOST-Programms. Die AvH bietet aus den Fördermitteln des BMBF auch Angebote zur Förderung der Alumni aus allen drei Stipendienprogrammen an. Dazu zählen Wiedereingliederungshilfen, Rückkehrstipendien, erneute Forschungsaufenthalte, Institutspartnerschaften sowie Jahrestagungen und Netzwerkveranstaltungen.
Die Evaluation sollte zwei Funktionen erfüllen: Sie sollte zum einen im Sinne einer formativen Evaluation eine evidenzbasierte Grundlage für die Weiterentwicklung der Programme liefern. Zum anderen sollte sie dazu herangezogen werden, gegenüber den Finanzmittelgebern und der Öffentlichkeit Rechenschaft über die Implementierung und Zielerreichung der Stipendienprogramme abzulegen. Im Zentrum der Evaluation standen die Fragen, inwiefern das Humboldt-Netzwerk von den drei Programmen hat profitieren können und ob im Hinblick auf die Programmziele geeignete Forschungsstipendiat:innen ausgewählt worden waren.
Die Evaluation zeichnete sich durch einen partizipativen sowie Multimethoden-Ansatz aus. So wurden im Rahmen der Evaluation Dokumenten- und Sekundäranalysen kombiniert mit qualitativen (leitfadengestützte Intensivinterviews) sowie quantitativen Erhebungsverfahren (teilstandardisierte Online-Erhebungen).
International consultancy to conduct mapping of Early Childhood Care Development and Education (ECCDE) Centres in Eswatini
Ziel dieses Auftrags war die Unterstützung des Ministeriums für Bildung und Ausbildung in Eswatini bei der Durchführung einer Bestandsaufnahme aller frühkindlichen Betreuungs-, Entwicklungs- und Bildungsprogramme (Early Childhood Care and Development and Education, ECCDE). Das Mapping wurde für alle Zentren durchgeführt, die ECCDE-Dienste anboten (formell und informell), einschließlich der detaillierten Erfassung wichtiger Informationen über Standort, Einschreibung, Infrastruktur und die Art der angebotenen Dienstleistungen. Die Ergebnisse des ECCDE-Mappings sollten in die Entwicklung des Strategieplans für den Bildungssektor 2022 – 2034 einfließen und unter anderem die Verbesserung des Zugangs und der Qualität der ECCDE-Dienste im ganzen Land fördern.
CEval war für die Digitalisierung des Fragebogens mit Hilfe der Software KoboCollect, die Datenbereinigung und die statistische Analyse verantwortlich.
Begleitende Zwischenevaluation der „Palestinian-German Science Bridge“ (PGSB)
Das Programm „Palestinian German Science Bridge“ ist ein vom Bundesministerium für Bildung und Forschung (BMBF) finanziertes Pilotprojekt, welches gemeinsam vom Forschungszentrum Jülich und der „Palestinian Academy for Science and Technology“ (PALAST) umgesetzt wird und auf die Etablierung einer langfristen Ausbildungs- und Forschungskooperation zwischen dem Forschungszentrum und den palästinensischen Universitäten abzielt. Das Programm vereint hierfür die Mobilität von Studierenden und (Nachwuchs-)Wissenschaftler*innen, den wissenschaftlichen Austausch von Forscher*innen, die Unterstützung von Forschungskooperationen und die Reintegration palästinensischer Forschender in den palästinensischen Forschungssektor.
Das Forschungszentrum Jülich hat die CEval GmbH damit beauftragt, das Forschungszentrum hinsichtlich der Konzeption einer Mid-Term Evaluation des Programms zu beraten sowie bei deren Durchführung zu unterstützen. Die Evaluation sollte die kurz- bis mittelfristigen Ergebnisse des Programms beurteilen sowie die Aussichten der langfristigen Zielerreichung. Ziel der Evaluation war es des Weiteren, Verbesserungspotenziale zur weiteren Optimierung des Programms zu identifizieren.
Methodisch basierte die Evaluation auf einem Methodenmix aus qualitativen und quantitativen Datenerhebungs- und -auswertungsmethoden. Die Datenerhebung kombinierte eine Dokumenten- und Sekundärdatenanalyse mit leitfadengestützten Interviews sowie teilstandardisierten Online-Befragungen der Stakeholder des Projekts. Die Datenanalyse vereinte deskriptive Statistik und qualitative Inhaltsanalyse. Aufgrund der COVID-19 Pandemie war die Evaluation als Remote-Evaluation konzipiert.
Alumni-Befragung der European School of Materials (EUSMAT)
Die European School of Materials (EUSMAT) der Universität des Saarlandes bietet verschiedene internationale Studiengänge auf Bachelor-, Master- und Doktorandenniveau an. Um mit den Alumni dieser Studienangebote in Kontakt zu bleiben, engagiert sich EUSMAT zunehmend im Bereich der Alumni-Arbeit.
Zur Überprüfung der Passgenauigkeit der bisherigen Alumni-Aktivitäten sowie zur Identifikation der Erwartungen und Bedarfe der Alumni in diesem Bereich, wurde die CEval GmbH von EUSMAT mit der Konzeption und Durchführung einer Alumni-Befragung beauftragt. Ziel war es, eine Datenbasis für den weiteren Ausbau und die Optimierung der Alumni-Arbeit von EUSMAT zu schaffen.
In methodischer Hinsicht wurden hierfür eine teilstandardisierte Befragung sowie Fokusgruppendiskussionen unter EUSMAT-Alumni konzipiert und durchgeführt.
Ressortgemeinsame strategische Evaluierung des AA- und des BMZ-Engagements in Irak
Die Bundesregierung beabsichtigt, im Rahmen ihres Krisenengagements in Irak eine weitere Verankerung von Monitoring und Evaluierung als Instrumente des Lernens und der Qualitätssicherung, der Rechenschaftslegung und der strategischen Steuerung. In diesem Kontext wurde eine ressortgemeinsame Evaluierung des Irak-Engagements des Auswärtigen Amtes (AA) und des Bundesministeriums für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) durchgeführt. Diese sollte gleichzeitig als Pilotvorhaben und möglichst als Modell für ressortgemeinsame Evaluierungen beider Häuser in relevanten Handlungsfeldern und an ihren Schnittstellen fungieren. Hauptziel dieser ressortgemeinsamen Evaluierung war das gemeinsame institutionelle Lernen. Die AA-Komponente der Evaluation wurde von einem Konsortium unter Federführung der GFA Consulting Group realisiert, an dem die CEval GmbH beteiligt war; die BMZ-Komponente durch das Deutsche Evaluierungsinstitut (DEval). Beide Evaluationsteams arbeiteten in einer Arbeitsgemeinschaft eng zusammen.
Ziel der Evaluierung war es, eine unabhängige und umfassende Analyse und Bewertung des Engagements der beiden Ressorts vorzunehmen, um Erkenntnisse für die (gemeinsame) Steuerung zu gewinnen und zu nutzen. Durch die Evaluierung wurden Erkenntnisse über Relevanz, Effektivität und übergeordnete Wirkungen, Effizienz, Nachhaltigkeit bzw. Anschlussfähigkeit sowie Koordination, Kohärenz und Komplementarität des Irak-Engagements beider Ressorts gewonnen. Weiterhin hat die Evaluierung Handlungsempfehlungen für eine Optimierung des Gesamtengagements und einzelner Maßnahmen, Strukturen und Prozesse geliefert, um das laufende Portfolio ggf. nachzusteuern. Schließlich wurden aus dem AA-BMZ Engagement in Irak Lernerfahrungen für ein ähnliches Engagement in anderen Krisenkontexten identifiziert. Die Evaluierung diente auch der begleitenden bzw. abschließenden Erfolgskontrolle des Länderportfolios gemäß Bundeshaushaltsordnung.
Methodisch basierte die Evaluation auf einem breiten Mix aus qualitativen und quantitativen Datenerhebungs- und Auswertungsmethoden. Die Datenerhebungen wurden aufgrund pandemiebedingter Reisebeschränkungen durch das Konsortium sowohl in Deutschland als auch im Irak remote realisiert bzw. gesteuert.
Entwicklung eines Wirkungsgefüges „Resilienz in der Strategischen Kommunikation“
Der digitale Wandel hat auch die Anforderungen an die Außenpolitik und ihre Kommunikation stark verändert. War sie früher vor allem Sache des Außenministers und des weltweiten Netzwerks an Auslandsvertretungen, hat Außenpolitik heute viele staatliche und nichtstaatliche Akteure. Zugleich hat der globale Wettbewerb um Aufmerksamkeit durch die Digitalisierung sowie auch durch zahlreiche neue Player und Allianzen eine neue Dimension erreicht. Sie hat sich aber auch durch massive Verlagerung der Kommunikation in die Sozialen Medien verändert. Strategische Kommunikation ist daher heute nicht nur ein anderes Kommunizieren in anderen sozialen Räumen, sondern zugleich eine Auseinandersetzung mit Herausforderungen wie Desinformation, Propaganda oder Hasskriminalität und einem veränderten Begriff von Öffentlichkeit, von freier Meinungsäußerung und ihren Gefährdungen.
Ziel des Auftrags war es, eine Entscheidungsgrundlage für die Projektauswahl zur Verfügung zu stellen, welche auf eindeutigen und vorab definierten Kriterien dazu basiert, wie gut sich ein vorgeschlagenes Projekt in die Gesamtlogik der Resilienzförderung einfügt sowie eine Grundlage für die Evaluierung des deutschen Engagements im Resilienzbereich zu schaffen. Dies erfolgte in Form der Erarbeitung eines Wirkungsgefüges mit zugehörigen wirkungsorientierten Indikatoren, die in einem Begleitbericht dokumentiert und kommunikationstheoretisch eingebettet wurden.
International Program for Development Evaluation Training (IPDET)
Das International Program for Development Evaluation Training (IPDET) ist eines der führenden Trainingsprogramme im Bereich der Evaluierung von Entwicklungszusammenarbeit. Seit 2018 wird es gemeinsam vom Zentrum für Weiterbildung an der Universität Bern (Schweiz), dem Centrum für Evaluation an der Universität des Saarlandes (Deutschland) und der Independent Evaluation Group der Weltbank durchgeführt. Seit 2020 ist IPDET Partner der Global Evaluation Initiative (GEI) der Weltbank.
Ziel von IPDET ist es Praktizierenden im Bereich der Evaluierung die notwendigen Fertigkeiten zu vermitteln, um Richtlinien, Programme und Projekte auf lokaler, nationaler, regionaler und globaler Ebene zu evaluieren, sowie Führungskräften die nötigen Kenntnisse, um Evaluierungen zu beauftragen und Evaluierungsergebnisse für Entscheidungsprozesse zu nutzen. Weitere Infos zu IPDET finden Sie auf der Website: https://ipdet.org/.
