Evaluation Dozenturen
Der DAAD als weltweit größte Förderorganisation für den Austausch von Studierenden und Wissenschaftlerinnen und Wissenschaftlern fördert mit den Programmen der Auslandsdozenturen den Lehraufenthalt von Wissenschaftlerinnen und Wissenschaftlern an Hochschulen im Ausland. Mit den Dozenturen im Ausland verfolgt der DAAD außenkulturpolitische, entwicklungspolitische, hochschulpolitische und programmpolitische Ziele. Je nach Gastland, gastgebender Institution und Zuschnitt der Dozentur weisen diese unterschiedlichen Schwerpunkte in ihren Zielsetzungen auf.
Gegenstand der Evaluation waren die Langzeit-, Kurzzeit- und Herder-Dozenturen im Betrachtungszeitraum 2012 bis 2022.
Die Evaluation verfolgte drei zentrale Zielsetzungen: Überprüfung, ob die Programme in ihrer aktuellen Ausgestaltung zeitgemäß und bedarfsorientiert sind, Unterstützung der Rechenschaftslegung des DAAD gegenüber dem Auswärtigem Amt sowie Unterstützung der strategischen Positionierung der Programme durch deren Weiterentwicklung.
In methodischer Hinsicht wurde ein Mix aus qualitativen und quantitativen Erhebungs- und Auswertungsmethoden miteinander kombiniert. Unter anderem wurden eine umfassende Dokumenten- und Sekundärdatenanalyse, virtuelle Standortbegehungen/Feldstudie, Leitfadeninterviews, Gruppendiskussionen sowie Online-Befragungen realisiert. Prüfung und Überarbeitung des Wirkungsgefüges sowie Indikatorenentwicklung waren Bestandteil der Evaluation.
Evaluation des „Deutsch-Kolumbianischen Friedensinstituts/ Instituto Colombo-Alemán para la Paz (Instituto CAPAZ)“
Das Deutsch-Kolumbianische Friedensinstitut (CAPAZ) ist eines von fünf Exzellenzzentren für Forschung und Lehre im Ausland, welches seit Oktober 2016 aus Mitteln des Auswärtigen Amtes gefördert wird. Das Institut versteht sich als akademische Kooperationsplattform, die den Wissens- und Erfahrungsaustausch zwischen Institutionen aus Forschung und Lehre, Zivilgesellschaft und Staat im Bereich der Friedensforschung fördert und auf diese Weise zum Aufbau einer nachhaltigen Friedensordnung in Kolumbien beitragen will. Die Tätigkeitsfelder des Instituts umfassen die Bereiche Lehre, Forschung, Politikberatung und Wissenstransfer.
Mit Blick auf das Ende der aktuell geförderten Institutionalisierungsphase des Instituts sowie auf eine angestrebte weitere Förderphase, hat der Deutsche Akademische Austauschdienst (DAAD) die CEval GmbH mit einer Evaluation des Instituto CAPAZ beauftragt. Ziel der Evaluation war es, eine Projektfortschritts- und Erfolgskontrolle des Projekts zu realisieren und auf dieser Basis Vorschläge zur Optimierung des Projekts sowie zur Weiterentwicklung der Förderung zu entwickeln. Hierbei orientierte sich die Evaluation an den Kriterien der Relevanz, Effektivität (Zielerreichung und Wirkung), Effizienz, Nachhaltigkeit sowie Koordination, Komplementarität und Kohärenz.
Der gewählte Evaluationsansatz war theoriebasiert und partizipativ und kombiniert in methodischer Hinsicht einen Mix aus verschiedenen vornehmlich qualitativen Erhebungs- und Auswertungsmethoden. Unter anderem wurden eine Dokumenten- und Sekundärdatenanalyse, explorative Einzel- bzw. Gruppeninterviews sowie vertiefende, leitfadengestützte Einzelinterviews und Fokusgruppendiskussionen realisiert. Begleitet wurde die Evaluation durch zwei Fachgutachterinnen.
Evaluation des ASG-Mentoring-Programms 2022/2023
Übergeordnetes Ziel der gemeinnützigen Agrarsozialen Gesellschaft e.V. (ASG) ist der Einsatz für die Verbesserung der Lebensverhältnisse in ländlichen Räumen und in der Landwirtschaft. Zentrale Ressource für eine positive Entwicklung ländlicher Räume sind qualifizierte und engagierte Menschen. Vor diesem Hintergrund wurde ein ASG-Mentoring-Programm geschaffen, in welchem Studierende und Absolvent:innen, die sich beruflich im und für den ländlichen Raum engagieren möchten, über eine Phase von 18 Monaten auf ihrem Karriereweg unterstützt werden. Das ASG-Mentoring-Programm setzt auf die drei klassischen Mentoring-Komponenten: Die tutorielle Betreuung von Mentees durch die Bildung von Mentoring-Tandems mit Führungskräften aus Wissenschaft, Verwaltung, Politik, Nichtregierungsorganisationen und Wirtschaft, der Kompetenzerwerb der Mentees im Rahmen der begleitenden Seminare des Programms, ASG-Tagungen/-seminare und der Aufbau persönlicher Kontakte und Netzwerke durch den fachlichen Austausch mit allen Beteiligtengruppen innerhalb des Programms sowie im Kontext der ASG-Tagungen und -Seminare. Die CEval GmbH wurde mit der begleitenden Evaluation des Mentoring-Programmes beauftragt. Zentrale Aufgabe dieser Evaluation ist es, den durchführungsverantwortlichen Mitarbeiter:innen der ASG zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse sind Fragen zur Zufriedenheit mit den angebotenen Seminaren, zur Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten. Methodisch stützt sich die Evaluation auf standardisierte Online-Befragungen der Mentees und/oder Mentor:innen zu sechs Zeitpunkten und auf qualitative Interviews der Programmverantwortlichen und der Mentor*innen sowie auf (Fokus-)Gruppendiskussion mit den Mentees.
Implementierung eines Evaluationssystems für Lehrveranstaltungen der Theaterakademie August Everding
Die Theaterakademie August Everding bietet verschiedene künstlerische Studiengänge auf Bachelor- und Masterniveau an. Um die Zufriedenheit der Studierenden mit einzelnen Lehrveranstaltungen zu ermitteln und Verbesserungspotenziale zu identifizieren, hat die Theaterakademie August Everding die CEval GmbH mit der Implementierung eines Evaluationssystems für Lehrveranstaltungen an der Theaterakademie August Everding beauftragt. Ziel ist es, eine regelmäßige Datenbasis für den weiteren Ausbau und die Optimierung der Lehrveranstaltungen zu schaffen. Methodisch werden hierfür für verschiedene Lehveranstaltungsformate teilstandardisierte Befragungen konzipiert, die für die Evaluationen verschiedener Lehrveranstaltungen (praktisch ausgerichtete und theoretisch ausgerichtete Lehrveranstaltungen sowie Einzelunterrichte) eingesetzt werden können.
Synthese und Meta-Evaluation zu den Projekt- und Programm-Evaluationen der Zentren für Deutschland- und Europastudien (ZDES)
Mit dem übergeordneten Ziel, in Deutschland, Europa und weltweit einen Beitrag zu einer Internationalisierung des Wissenschafts- und Innovationssystems zu leisten und den Hochschul- und Forschungsraum in Bezug auf Deutschland- und Europathemen mitzugestalten, fördert der DAAD interdisziplinäre Zentren für Deutschland- und Europastudien (ZDES) an Hochschulen im Ausland. Die Zentren bilden bspw. über gezielte Studienangebote Deutschland- und Europaexperten aus und treten mit Wissenschaft, Politik und interessierter Öffentlichkeit in einen Austausch zu deutschland- und europabezogenen Themen.
Um die Wirksamkeit seiner Arbeit fortlaufend zu verbessern, hatte der DAAD die CEval GmbH mit der Durchführung einer Meta-Evaluations- und Synthesestudie in Bezug auf die ZDES beauftragt. Gegenstand der Studie waren die in den Jahren 2015-2020 erstellten Projekt- und Programmevalu-ationen zu den Zentren für Deutschland und Europastudien. Der Auftrag beinhaltete die kriteriengeleitete Synthese der Erkenntnisse aus den Evaluationsberichten sowie die Beurteilung der Qualität der Evaluationen selbst (Meta-Evaluation). Ziel der Untersuchung war u.a., aus einer übergeordneten Perspektive die Zielerreichung und Wirksamkeit der Zentrenförderung zu beurteilen, Optimierungspotenziale zu identifizieren und Empfehlungen für die künftige ZDES-Förderung sowie mit Blick auf künftige ZDES-Evaluationen zu entwickeln.
Methodisch basierte die Untersuchung auf einer Desk Study. Für die Meta-Evaluation wurde eine Meta-Bewertungsmatrix als primäres Datenerhebungsinstrument entwickelt. Auf dieser Grundlage wurden die Evaluationsberichte anhand des in der Matrix definierten Sets von Qualitätsbewertungskriterien und in Bezug auf sechs Analysedimensionen systematisch analysiert und bewertet. Gleichsam wurde für die Synthese ein Analyseraster und hierauf aufbauend ein Kodierschema entwickelt, mithilfe dessen eine qualitative Inhaltsanalyse der vorliegenden Evaluationsberichte umgesetzt und eine Synthese der Erkenntnisse vorgenommen wurde.
Evaluation des Deutsch-Argentinischen Hochschulzentrums (DAHZ-CUAA)
Das Deutsch-Argentinische Hochschulzentrum (DAHZ-CUAA) ist ein binationales Hochschulzentrum und zielt darauf ab, die institutionelle, akademische und wissenschaftlichen Zusammenarbeit zwischen Argentinien und Deutschland zu stärken und zu fördern. Das Hauptziel ist dabei, innovative Studienprogramme in Gestalt von binationalen Studiengängen mit Doppelabschluss zu generieren. Um diese Zielsetzung zu erreichen, werden Hochschulen beider Länder in drei Programmlinien gefördert: dem deutsch-argentinischen Programm zur Förderung binationaler Studiengänge mit Doppelabschluss“ (Hauptförderprogramm), dem I.DEAR-Programm (Ingenieure Deutschland-Argentina) und dem Programm zur Förderung begleitender Forschungsmaßnahmen.
Um Erkenntnisse über die bisherigen Fortschritte, Erfolge und/oder Misserfolge der Programme zu erlangen und auf dieser Basis die zukünftigen Programme des DAHZ-CUAA weiterzuentwickeln und noch wirksamer gestalten zu können, hat die deutsche Geschäftsstelle des DAHZ im DAAD die CEval GmbH in Gemeinschaft mit smep consult mit einer Evaluation des DAHZ-CUAA beauftragt. Aufgabe der Evaluation war es, die Relevanz, Effektivität (Zielerreichung und Wirkung), Effizienz/Wirtschaftlichkeit sowie Nachhaltigkeit des DAHZ und seiner Programme zu beurteilen und Empfehlungen zur Weiterentwicklung und ggf. Verbesserung der Programme und zukünftigen Programmgestaltung abzuleiten.
Die Evaluation beruhte auf einem theoriebasierten, partizipativen Mixed-Methods-Ansatz. In methodischer Hinsicht wurde bei der Evaluation des DAHZ ein Mix aus qualitativen und quantitativen Erhebungs- und Auswertungsmethoden miteinander kombiniert. Unter anderem wurden eine Dokumenten- und Sekundärdatenanalyse, Leitfadeninterviews, Gruppendiskussionen und Standortbegehungen in Deutschland und im Rahmen eines Feldaufenthaltes in Argentinien sowie Online-Befragungen realisiert.
Study program evaluations of the Theaterakademie August Everding
The August Everding Theatre Academy, Munich, is an academic teaching and learning theatre that offers eight courses of study in the field of stage professions at Bachelor’s and Master’s level. These are realised in cooperation with the four Munich universities and the three Munich state theatres.
The Theatre Academy has commissioned CEval GmbH to carry out evaluations of five study programmes. The aim is to collect an evaluation of the theoretical and practical orientation by the students of the various study programmes in the sense of quality development, in order to further optimise the study programmes on the basis of this data. For this purpose, the students are surveyed online using partially standardised questionnaires.
Rahmenvertrag zur Weiterentwicklung und Implementierung von Ansätzen der systematischen Wirkungserfassung mittels Monitoring und Evaluationen für DAAD-Programme (2020)
Der DAAD versteht sich als moderne Wissenschaftsorganisation, die durch kontinuierliches Lernen und die Bereitschaft zur Veränderung ihrer Arbeit bestrebt ist, deren Wirksamkeit kontinuierlich zu verbessern. Dieser Ansatz ist in dem 2019 verabschiedeten Integrierten Monitoring- und Evaluationskonzept des DAAD ausformuliert, in dem institutionelles Lernen, Qualitätssicherung, Wirkungsorientierung, Transparenz in Prozessen und Legitimation als wichtige Dimensionen benannt werden, auf die die verschiedenen Monitoring- und Evaluationsaktivitäten ausgerichtet sind. Aus übergeordneter Perspektive soll so auch die strategische Ausrichtung des DAAD und seiner Programme evidenzbasiert unterstützt werden.
Der Rahmenvertrag mit der CEval GmbH zielt darauf ab, den steigenden Ansprüchen an Wirkungsorientierung und -kontrolle in den verschiedenen Förderbereichen des DAAD noch besser gerecht zu werden, indem die Umsetzung der Wirkungsorientierung und -kontrolle für bestehende und neue Programme in den AA- und BMBF-Förderbereichen unterstützt und die Wirkungsorientierung neu konzipierter BMZ-Programme begleitet werden.
Art der Leistungen (erbrachte Gewerke):
– Entwicklung von Wirkungsgefügen und Indikatorenkatalogen
– (Weiter-)Entwicklung programmspezifischer Monitoring- Instrumente (z.B. Berichtsformate, Fragebögen, Evaluationsbögen)
– (Weiter-)Entwicklung der programmsteuernden Dokumente entsprechend der Anforderungen des Monitoring-Konzepts (z.B. Förderrahmen und begleitende Ausschreibungsunterlagen, Handreichung WoM, Datenauswertungsleitfaden, interne programmspezifische Monitoring-Konzepte und Arbeitsanweisungen, Strategiedokumente)
– Datenaufbereitung und -analyse, Ableitung von Steuerungsentscheidungen
– Capacity Development: interne und externe Workshops zur Umsetzung des Wirkungsorientierten Monitorings (WoM)
– Methodische und/oder vor-Ort-Begleitung im Rahmen von Monitoring-Besuchen bei Projektnehmern
– Beratung zu weiterführenden Ansätzen und Methoden im Bereich Monitoring und Evaluation
– Zusätzliche Beratungs- und Schulungsleistungen
Evaluation der Forschungsstipendienprogramme für Wissenschaftlter:innen aus Deutschland (FLF, JSPS, MOST) der Alexander von Humboldt-Stiftung
Die Alexander von Humboldt-Stiftung (AvH) ermöglicht hochqualifizierten Wissenschaftler:innen aus aller Welt längerfristige Forschungsaufenthalte in Deutschland und unterstützt die sich daraus ergebenden wissenschaftlichen und kulturellen Verbindungen zwischen In- und Ausland. Das Netzwerk der Stiftung umfasst mittlerweile über 29.000 Wissenschaftler:innen aller Fachgebiete in mehr als 140 Ländern.
Zur Stärkung des Humboldt-Netzwerkes beinhaltet das Programmportfolio der AvH auch drei Forschungsstipendienprogramme, die Wissenschaftler:innen aus Deutschland unterstützen, an Forschungseinrichtungen im Ausland zu arbeiten. Das BMBF-finanzierte Feodor Lynen-Forschungsstipendienprogramm (FLF) ermöglicht deutschen Wissenschaftler:innen einen längerfristigen Forschungsaufenthalt im Ausland. Auf diese Weise soll sowohl das bestehende ausländische Humboldt-Netzwerk gestärkt als auch das Potenzial der Humboldt-Alumni im Ausland in ihrer Funktion als wissenschaftliche Beratende und „Türöffner“ für (Nachwuchs-)Wissenschaftler:innen aus Deutschland erschlossen werden. Für die Zielländer Japan und Taiwan kooperiert die Humboldt-Stiftung mit der Japan Society for the Promotion of Science (JSPS) und dem Ministry of Science and Technology, Taiwan (MOST) im Rahmen des JSPS-Programms und des MOST-Programms. Die AvH bietet aus den Fördermitteln des BMBF auch Angebote zur Förderung der Alumni aus allen drei Stipendienprogrammen an. Dazu zählen Wiedereingliederungshilfen, Rückkehrstipendien, erneute Forschungsaufenthalte, Institutspartnerschaften sowie Jahrestagungen und Netzwerkveranstaltungen.
Die Evaluation sollte zwei Funktionen erfüllen: Sie sollte zum einen im Sinne einer formativen Evaluation eine evidenzbasierte Grundlage für die Weiterentwicklung der Programme liefern. Zum anderen sollte sie dazu herangezogen werden, gegenüber den Finanzmittelgebern und der Öffentlichkeit Rechenschaft über die Implementierung und Zielerreichung der Stipendienprogramme abzulegen. Im Zentrum der Evaluation standen die Fragen, inwiefern das Humboldt-Netzwerk von den drei Programmen hat profitieren können und ob im Hinblick auf die Programmziele geeignete Forschungsstipendiat:innen ausgewählt worden waren.
Die Evaluation zeichnete sich durch einen partizipativen sowie Multimethoden-Ansatz aus. So wurden im Rahmen der Evaluation Dokumenten- und Sekundäranalysen kombiniert mit qualitativen (leitfadengestützte Intensivinterviews) sowie quantitativen Erhebungsverfahren (teilstandardisierte Online-Erhebungen).
International consultancy to conduct mapping of Early Childhood Care Development and Education (ECCDE) Centres in Eswatini
Ziel dieses Auftrags war die Unterstützung des Ministeriums für Bildung und Ausbildung in Eswatini bei der Durchführung einer Bestandsaufnahme aller frühkindlichen Betreuungs-, Entwicklungs- und Bildungsprogramme (Early Childhood Care and Development and Education, ECCDE). Das Mapping wurde für alle Zentren durchgeführt, die ECCDE-Dienste anboten (formell und informell), einschließlich der detaillierten Erfassung wichtiger Informationen über Standort, Einschreibung, Infrastruktur und die Art der angebotenen Dienstleistungen. Die Ergebnisse des ECCDE-Mappings sollten in die Entwicklung des Strategieplans für den Bildungssektor 2022 – 2034 einfließen und unter anderem die Verbesserung des Zugangs und der Qualität der ECCDE-Dienste im ganzen Land fördern.
CEval war für die Digitalisierung des Fragebogens mit Hilfe der Software KoboCollect, die Datenbereinigung und die statistische Analyse verantwortlich.