Bildung, Kultur & Soziales – Seite 11

Evaluation „Moderne Anwendungen in der Biotechnologie & Postdoktoranden-Austausch mit ausgewählten Ländern in Mittel- und Osteuropa“ und „Studieren und Forschen für Nachhaltigkeit“

Gegenstand der Evaluation waren zwei aus Mitteln des BMBF-geförderte Fachprogramme des DAAD, die beide 2005 begonnen wurden und Ende 2012 ausliefen. Ziel des Programms „Moderne Anwendungen der Biotechnologie & Postdoktoranden-Austausch mit ausgewählten Ländern in Mittel- und Osteuropa“ war es, besonders qualifizierten Nachwuchswissenschaftlerinnen und -wissenschaftlern mit Stipendien die Möglichkeit zu geben, für bis zu 12 Monate mit eigenen wissenschaftlichen Vorhaben an der Forschung selbst gewählter Institute an Hochschulen und außeruniversitären Forschungseinrichtungen im In- bzw. Ausland mitzuarbeiten. Damit sollten ihre Vernetzung in wichtigen Feldern der modernen Biotechnologie gefördert und ggf. Kooperationen angestoßen werden.

Das Programm „Studieren und Forschen für Nachhaltigkeit“ verfolgte das Ziel, die internationale Fachkommunikation und die Vernetzung zwischen Instituten, Studierenden und Wissenschaftlern in Deutschland und im Ausland zu entwickeln. Dazu wurden an besonders qualifizierte Studierende, Doktoranden und Postdoktoranden aus Deutschland, den BRICS-Staaten sowie der Mongolei Langzeitstipendien für Studium bzw. Forschung in ausgewählten Feldern der Nachhaltigkeitsforschung vergeben und die Durchführung von Sommerschulen gefördert. In einer dritten Programmlinie wurden zusätzliche Forschungsstipendien für Doktoranden und Postdoktoranden aus China und Deutschland vergeben.

Im Rahmen der Evaluation der beiden Programme sollten Aussagen über die wissenschaftliche Qualität der Stipendiatinnen und Stipendiaten und ihre persönlichen Motivationen für die Bewerbungen sowie die Nachhaltigkeit der Förderung und Vernetzung gewonnen werden. Weiterhin sollte die Erreichung der Ziele der Programme untersucht werden. Aus den gewonnenen Erkenntnissen sollten Schlussfolgerungen und Empfehlungen für die Gestaltung vergleichbarer Fachprogramme abgeleitet werden.

Zur Datengewinnung folgte das CEval einem „mixed-methods“ Ansatz. Dabei wurde eine vertiefende Analyse bereits vorhandener Dokumente vorgenommen und es wurden eigene Erhebungen (qualitative Leitfadeninterviews und standardisierte Onlinebefragungen) durchgeführt.

Externe Auditierung im Rahmen der Vergabe des Qualitätssiegels „Fanprojekt nach dem Nationalen Konzept Sport und Sicherheit“

In Deutschland existiert in Form von Fanprojekten ein dichtes bundesweites Netzwerk von Einrichtungen der Sozialen Arbeit mit jugendlichen Fußballfans, die nach den Rahmenbedingungen und Vorgaben des Nationalen Konzepts Sport und Sicherheit arbeiten (NKSS). Zu Zwecken der Qualitätssicherung und der kontinuierlichen Verbesserung der Arbeit der Fanprojekte wurde 2010 das Qualitätssiegel Fanprojekt nach dem NKSS eingeführt. Dieses soll zu einer verbesserten Wahrnehmung der Fanprojekte beitragen und den Fanprojekten Handlungssicherheit bieten. Das Qualitätssiegel ist 2012 in das überarbeitete NKSS aufgenommen worden und damit auf hoher politischer Ebene anerkannt. Vergeben wird das Qualitätssiegel von der Arbeitsgruppe Qualitätssicherung, in welcher Akteure aus dem Fußball, der obersten Landes- und Familienbehörden, der Wissenschaft sowie der Fanprojekte vertreten sind.

Das Vergabeverfahren des Qualitätssiegels sollte sowohl aus inhaltlicher als auch aus prozeduraler Perspektive überarbeitet werden, um ein Siegel zu schaffen, das ein valides Zeichen für die Güte und Qualität eines Projektes ist. Das Vergabeverfahren soll möglichst objektiv gestaltet sein und Transparenz über die Gründe für eine Vergabe oder auch Nicht-Vergabe des Siegels sichern. Im Rahmen der Überarbeitung des Siegels war es daher Aufgabe des Centrums für Evaluation (CEval), einen Kriterienkatalog sowie einen standardisierten Erhebungsbogen zu entwickeln. Darüber hinaus erarbeitete das CEval in Absprache mit den Partnern ein Konzept für die Umsetzung einer Pilotphase, in der das überarbeitete Qualitätssiegel und dessen Vergabeprozess auf ihre Praxistauglichkeit geprüft wurden. Die Pilotphase wurde mit fünf ausgewählten Fanprojekten umgesetzt. Auf Basis der Erkenntnisse und Erfahrungen der Pilotphase wurden das Konzept und die Instrumente finalisiert.

DAAD-Stipendienprogramm „Deutsche Auslandsschulen“ (2012-2014)

Das DAAD-Stipendienprogramm „Deutsche Auslandsschulen“ besteht seit 2001; seit 2008 ist das Programm in die Initiative „Schulen: Partner der Zukunft“ (PASCH) des Auswärtigen Amts eingebettet. Ziel des Programms ist es, den leistungsstärksten Absolventinnen und Absolventen deutscher Auslands- und Sprachdiplomschulen (seit 2004) sowie im Einzelfall auch sog. Fit-Schulen (seit 2010) im direkten Anschluss an die schulische Ausbildung eine stipendienfinanzierte akademische Ausbildungsperspektive in Deutschland zu bieten und sie so an den Wissenschafts- und Wirtschaftsstandort Deutschland zu binden. Auf diese Weise sollen Multiplikatoren für deutsche und bilaterale Anliegen in Wissenschaft, Wirtschaft, Politik und Kultur gewonnen werden.

Aufgabe der seitens des DAAD beauftragten Evaluation war neben der Bewertung der Zielerreichung die Beurteilung wesentlicher Parameter der Programmförderung sowie der Programmdurchführung. Eine wichtige Rolle spielte dabei auch die Frage, wie sich das Stipendienprogramm in die PASCH-Initiative integrierte. Ausgehend von den Ergebnissen der Evaluation wurden Empfehlungen für die Weiterentwicklung des Programms und seine Vernetzung mit anderen DAAD- und PASCH-Maßnahmen entwickelt.

Zur Datengewinnung folgte die CEval GmbH einem „mixed-methods“ Ansatz. Neben der vertiefenden Analyse vorhandener Programmdokumente beinhaltete dieser die Durchführung einer Reihe von Leitfadeninterviews mit verschiedenen Stakeholdern sowie die Umsetzung mehrerer standardisierter Online-Befragungen und eine teilnehmende Beobachtung.

Entwicklung und Implementierung eines M&E-Systems für das „MentorinnenNetzwerk für Frauen in Naturwissenschaft und Technik“

Das „MentorinnenNetzwerk für Frauen in Naturwissenschaft und Technik“ ist ein seit 1998 bestehender, hochschulübergreifender Verbund aller hessischen Universitäten und Fachhochschulen und stellt mit rund 1.500 Mitgliedern das größte Mentoring-Projekt in der europäischen Hochschullandschaft dar. Das Netzwerk richtet sich an Frauen in Natur- und Ingenieurwissenschaften, die sich in der Qualifizierungsphase Studium oder Promotion befinden und zielt darauf ab, die Absolventinnenzahlen in naturwissenschaftlich-technischen Studiengängen und bei Promotionen zu erhöhen sowie die Karrierechancen von Frauen in naturwissenschaftlich-technischen Berufen zu verbessern und damit den Frauenanteil in attraktiven Positionen in Wissenschaft und Wirtschaft zu erhöhen.

Nachdem das Centrum für Evaluation (CEval) 2008 bereits eine Absolventenverbleibsstudie sowie eine Kontextanalyse für das MentorinnenNetzwerk durchgeführt hatte, wurde es 2011 mit der Entwicklung und Implementierung eines Monitoring- und Evaluationssystems (M&E-System) für das Mentoring-Programm des MentorinnenNetzwerks beauftragt. Dieses sollte die Mitarbeiterinnen des Hessischen Koordinierungsbüros des MentorinnenNetzwerks dazu befähigen, künftig selbst regelmäßige M&E-Aktivitäten durchzuführen, die dabei erhobenen Daten zu analysieren und zu verwerten. Die Mitarbeiterinnen wurden vonseiten des CEval entsprechend geschult und bei den ersten Erhebungen begleitet.

Wirkungsevaluation der internen Weiterbildungsmaßnahmen der Aktien-Gesellschaft der Dillinger Hüttenwerke

Ein zentrales Anliegen der Dillinger Hütte ist es, ihre Mitarbeiter und Mitarbeiterinnen dazu zu befähigen, mit dem fortwährenden technischen und wirtschaftlichen Wandel in der Gesellschaft Schritt zu halten. Gemäß dem Grundsatz „Weiterbildung ist ein unverzichtbares Element für die eigene und die Zukunft des Unternehmens“ bietet die Dillinger Hütte für ihre Mitarbeiterinnen und Mitarbeiter ein umfassendes Weiterbildungsprogramm an. Dieses zielt darauf ab sowohl fachliche als auch soziale Kompetenzen zu stärken.
Die Dillinger Hütte ist bestrebt qualitative hochwertige Weiterbildungen anzubieten und sich in diesem Zusammenhang kontinuierliche weiterzuentwickeln. Aufgrund dessen führte das Centrum für Evaluation ein umfassendes Evaluationsprojekt durch. Dieses besteht aus zwei Teilprojekten:

1. Einer Wirkungsevaluation der internen Weiterbildungsmaßnahmen
2. Die Entwicklung und Implementierung eines M&E-Systems

Ziel des ersten Teilprojekts war es, strategisch relevante, interne Weiterbildungen bezüglich ihrer Wirkung und Nachhaltigkeit zu beurteilen, um dadurch den Lernprozess und die kontinuierliche Verbesserung des Programms voranzutreiben.
Methodisch umfasste diese Evaluation eine Dokumenten-und Sekundäranalyse sowie explorative Interviews zur Entwicklung von Wirkungsindikatoren. Anhand leitfadengestützter Interviews mit Vorgesetzten der Teilnehmenden sowie einer Online-Erhebung wurden Wirkung und Nachhaltigkeit der Weiterbildungen erfasst.

Entwicklung und Implementierung eines M&E-Systems für die Weiterbildungsaktivitäten der Aktien-Gesellschaft der Dillinger Hüttenwerke

1. Einer Wirkungsevaluation der internen Weiterbildungsmaßnahmen
2. Die Entwicklung und Implementierung eines M&E-Systems

Ziel des zweiten Teilprojekts war es, ein kontinuierliches Monitoring- und Evaluationssystem (M&E) für interne und externe Weiterbildungen zu entwickeln und zu implementieren, welches die Dillinger Hütte dazu in die Lage versetzt, selbst regelmäßige M+E-Aktivitäten durchzuführen, die erhobenen Daten zu analysieren und zu verwerten.
In diesem Zusammenhang wurden gemeinsam mit der Dillinger Hütte geeignete Erhebungsinstrumente entwickelt und ein Instrument zur technischen Umsetzung von Befragungen eingeführt. Darüber hinaus wurden Schulungen sowohl zur Handhabung des Instruments als auch zur Datenauswertung und -interpretation durchgeführt.

Datenauswertung und Evaluation der Aktivitäten der DW-AKADEMIE in Ruanda

Für die Deutsche Welle evaluierte das Centrum für Evaluation das von der Deutsche Welle-AKADEMIE in Ruanda durchgeführte Training „Reporting for Democracy“. Das von Deutsche Welle-AKADEMIE und der School of Journalism and Communication an der National University of Rwanda gemeinsam organisierte Training umfasste im Zeitraum von Juni 2010 bis April 2011 zehn verschiedene Module zum Thema „Wahlberichterstattung“. Journalisten aus allen Bereichen (Print, Online, Radio, TV) waren Zielgruppe der Veranstaltungen.

Im Rahmen der Datenauswertung und Evaluation wurden die quantitativen und qualitativen Daten der Seminarbeurteilungen der Module ausgewertet. Weiterhin wurden telefonische Kurzinterviews mit sechs bis acht Trainern geführt. Mit Unterstützung der Deutschen Welle-AKADEMIE wurden schließlich alle Teilnehmer in einer Abschlusssitzung einige Monate nach dem letzten Trainingsmodul mittels eines standardisierten Fragebogens um eine Bewertung des langfristigen Nutzens des Trainings gebeten. Ziel der Evaluation war über die deskriptive, summative Auswertung der Rückmeldungen hinaus die Ableitung von Empfehlungen zur Durchführung derartiger Trainings.

Unterstützung der Evaluationsaktivitäten des Doktorandenkollegs DES

Die Doctoral School in Educational Sciences (DES) bietet qualifiziertem wissenschaftlichem Nachwuchs die Möglichkeit, innerhalb von maximal vier Jahren ein Studium mit einem PhD in Psychologie, Geschichts-, Sozial-, Erziehungs- oder Sprachwissenschaften abzuschließen. Um von den Studierenden Rückmeldungen über diverse Aspekte des Studiums (allgemeine Zufriedenheit, Nutzen und Qualität der Lehrveranstaltungen etc.) zu erhalten, wurden seitens des Centrums für Evaluation zwei Instrumente im Auftrag des Doktorandenkollegs entwickelt.

Dabei handelte es sich zum einen um einen lehrangebotsbezogenen Seminarbeurteilungsbogen, der in den Kursen des Kollegs eingesetzt wurde und Erkenntnisse über die Qualität der Veranstaltungen generieren sollte. Zum anderen wurde ein DES-übergreifendes Evaluationsinstrument entwickelt. Dabei handelte es sich um einen Online-Fragebogen, mit dessen Hilfe allgemeine Aspekte des Doktorandenkollegs eruiert wurden, etwa bezüglich der Erwartungen der Studierenden an das Graduiertenkolleg und ihre Erfahrungen mit dem Kolleg.

Während das CEval bei dem Seminarbeurteilungsbogen lediglich für die Instrumentenentwicklung zuständig war, zeichnete das CEval sich im Rahmen der DES-übergreifenden Befragung für den gesamten Befragungsprozess (von der Instrumentenentwicklung über die Durchführung bis hin zur Auswertung der Befragung) verantwortlich.

Saarländische Studierende als ökonomischer Standortfaktor

Hochschulen sind aus mehreren Gründen wichtige ökonomische Faktoren für die Region, in welcher sie angesiedelt sind, und stellen dort einen wesentlichen Standortfaktor dar. Dies gilt zum einen unmittelbar durch das wirtschaftliche Potential der beschäftigten Mitarbeiter:innen und Studierenden, die in Form privaten Konsums Nachfrageeffekte vorrangig in der Region erzeugen und zum anderen durch Infrastrukturinvestitionen (z.B. Baumaßnahmen) der Hochschulen sowie die bevorzugte Ansiedlung von Unternehmen aus know-how-intensiven Branchen.
Neben diesen unmittelbaren, direkten und indirekten sozioökonomischen Effekten erbringen jedoch Hochschulen mittel- und langfristig einen Nutzen, der für die regionale Wirtschafts und Kulturentwicklung insbesondere unter den Bedingungen des demographischen Wandels von zentraler Bedeutung ist. Hochschulen ziehen als attraktive Bildungsstätten junge, begabte Personen aus anderen Regionen an, die zum Teil nach ihrem Studium langfristig dem lokalen saarländischen Arbeitsmarkt als hochqualifizierte Fachkräfte zur Verfügung stehen („Pull-Effekte“).

Den „Pull-Effekten“ stehen jedoch auch „Push-Effekte“ entgegen, welche aus Sicht der Region die Rendite der geleisteten Ausbildungsinvestitionen verringern, ja mittelfristig sogar abhängig vom Ausmaß zu einer negativen Bilanz führen können. Wenn in einer Region keine adäquaten Beschäftigungsmöglichkeiten für die Ausbildungsleistungen der Hochschule vorhanden sind oder das Lohnniveau deutlich unterdurchschnittlich liegt, kann es trotz hoher Exzellenz von Forschung und Lehre zu Abwanderungstendenzen hochqualifizierter Absolvent:innen kommen.

Neben Experteninterviews, die mit Studierenden, Vertretern aus der Politik und Personalverantwortlichen aus Unternehmen geführt wurden, war das Ziel der quantitativen Studierendenbefragung eine umfassende Erfassung der Faktoren, die zur ökonomischen Bewertung der Studierenden notwendig war.

Hochschulkooperation mit der Universität von Costa Rica (UCR) (2012-2015)

Nach einer erfolgreichen dreijährigen Zusammenarbeit zwischen dem Centrum für Evaluation (CEval) der Universität des Saarlandes und der Universität von Costa Rica (UCR) zur Weiterentwicklung des seit 1995 an der UCR implementierten Masterstudiengangs in Evaluation von Projekten und Programmen zur sozialen Entwicklung (MEPPD), planten die beiden Universitäten ab 2011 die Intensivierung und Vertiefung ihrer Kooperation. Der DAAD, der durch sein Beraterprogramm seit 2008 bereits die vorangegangene Zusammenarbeit der beiden Hochschulen finanziell unterstützt hatte, begrüßte dieses Vorhaben. Aus diesem Grund förderte er von 2012 bis 2015 über sein Programm „Fachbezogene Partnerschaften mit Hochschulen in Entwicklungsländern“ auch die zweite Phase der Kooperation zwischen UCR und UdS.

Gemäß der Zielsetzung des DAAD-Programms, durch den akademischen Austausch eine Verbesserung der Lehrsituation zu erreichen und einen Beitrag zum Aufbau von nachhaltigen Strukturen im Bereich der Lehre im Partnerland zu leisten, bildete der Austausch von Studierenden, Promovierenden und Dozierenden einen Schwerpunkt der vierjährigen Kooperation. Weiterhin standen die Öffnung des MEPPD für den zentralamerikanischen Raum (Regionalisierung), die Anpassung der Lehre im Masterstudiengang Evaluation der UCR an die regionale Nachfrage und die daraus abgeleiteten Ausbildungsbedürfnisse (Profilierung) sowie die Einbindung der Hochschulkooperation in bestehende internationale Netzwerke (Internationalisierung) im Mittelpunkt der engeren Zusammenarbeit. Durch die vierjährige Zusammenarbeit konnte die Praxis- und Bedarfsorientierung des MEPPD gestärkt, bestehende regionale und internationale fachliche Netzwerke etabliert bzw. erweitert sowie die Kapazitäten in Lehre und Forschung ausgebaut werden.

Eine Fortsetzung der Kooperation unter Aufnahme einer weiteren Hochschule aus dem lateinamerikanischen Raum ist für 2017 vorgesehen.