Entwicklung und Implementierung eines M&E-Systems für das „MentorinnenNetzwerk für Frauen in Naturwissenschaft und Technik“

Das „MentorinnenNetzwerk für Frauen in Naturwissenschaft und Technik“ ist ein seit 1998 bestehender, hochschulübergreifender Verbund aller hessischen Universitäten und Fachhochschulen und stellt mit rund 1.500 Mitgliedern das größte Mentoring-Projekt in der europäischen Hochschullandschaft dar. Das Netzwerk richtet sich an Frauen in Natur- und Ingenieurwissenschaften, die sich in der Qualifizierungsphase Studium oder Promotion befinden und zielt darauf ab, die Absolventinnenzahlen in naturwissenschaftlich-technischen Studiengängen und bei Promotionen zu erhöhen sowie die Karrierechancen von Frauen in naturwissenschaftlich-technischen Berufen zu verbessern und damit den Frauenanteil in attraktiven Positionen in Wissenschaft und Wirtschaft zu erhöhen.

Nachdem das Centrum für Evaluation (CEval) 2008 bereits eine Absolventenverbleibsstudie sowie eine Kontextanalyse für das MentorinnenNetzwerk durchgeführt hatte, wurde es 2011 mit der Entwicklung und Implementierung eines Monitoring- und Evaluationssystems (M&E-System) für das Mentoring-Programm des MentorinnenNetzwerks beauftragt. Dieses sollte die Mitarbeiterinnen des Hessischen Koordinierungsbüros des MentorinnenNetzwerks dazu befähigen, künftig selbst regelmäßige M&E-Aktivitäten durchzuführen, die dabei erhobenen Daten zu analysieren und zu verwerten. Die Mitarbeiterinnen wurden vonseiten des CEval entsprechend geschult und bei den ersten Erhebungen begleitet.

Wirkungsevaluation der internen Weiterbildungsmaßnahmen der Aktien-Gesellschaft der Dillinger Hüttenwerke

Ein zentrales Anliegen der Dillinger Hütte ist es, ihre Mitarbeiter und Mitarbeiterinnen dazu zu befähigen, mit dem fortwährenden technischen und wirtschaftlichen Wandel in der Gesellschaft Schritt zu halten. Gemäß dem Grundsatz „Weiterbildung ist ein unverzichtbares Element für die eigene und die Zukunft des Unternehmens“ bietet die Dillinger Hütte für ihre Mitarbeiterinnen und Mitarbeiter ein umfassendes Weiterbildungsprogramm an. Dieses zielt darauf ab sowohl fachliche als auch soziale Kompetenzen zu stärken.
Die Dillinger Hütte ist bestrebt qualitative hochwertige Weiterbildungen anzubieten und sich in diesem Zusammenhang kontinuierliche weiterzuentwickeln. Aufgrund dessen führte das Centrum für Evaluation ein umfassendes Evaluationsprojekt durch. Dieses besteht aus zwei Teilprojekten:

1. Einer Wirkungsevaluation der internen Weiterbildungsmaßnahmen
2. Die Entwicklung und Implementierung eines M&E-Systems

Ziel des ersten Teilprojekts war es, strategisch relevante, interne Weiterbildungen bezüglich ihrer Wirkung und Nachhaltigkeit zu beurteilen, um dadurch den Lernprozess und die kontinuierliche Verbesserung des Programms voranzutreiben.
Methodisch umfasste diese Evaluation eine Dokumenten-und Sekundäranalyse sowie explorative Interviews zur Entwicklung von Wirkungsindikatoren. Anhand leitfadengestützter Interviews mit Vorgesetzten der Teilnehmenden sowie einer Online-Erhebung wurden Wirkung und Nachhaltigkeit der Weiterbildungen erfasst.

Entwicklung und Implementierung eines M&E-Systems für die Weiterbildungsaktivitäten der Aktien-Gesellschaft der Dillinger Hüttenwerke

Ein zentrales Anliegen der Dillinger Hütte ist es, ihre Mitarbeiter und Mitarbeiterinnen dazu zu befähigen, mit dem fortwährenden technischen und wirtschaftlichen Wandel in der Gesellschaft Schritt zu halten. Gemäß dem Grundsatz „Weiterbildung ist ein unverzichtbares Element für die eigene und die Zukunft des Unternehmens“ bietet die Dillinger Hütte für ihre Mitarbeiterinnen und Mitarbeiter ein umfassendes Weiterbildungsprogramm an. Dieses zielt darauf ab sowohl fachliche als auch soziale Kompetenzen zu stärken.
Die Dillinger Hütte ist bestrebt qualitative hochwertige Weiterbildungen anzubieten und sich in diesem Zusammenhang kontinuierliche weiterzuentwickeln. Aufgrund dessen führte das Centrum für Evaluation ein umfassendes Evaluationsprojekt durch. Dieses besteht aus zwei Teilprojekten:

1. Einer Wirkungsevaluation der internen Weiterbildungsmaßnahmen
2. Die Entwicklung und Implementierung eines M&E-Systems

Ziel des zweiten Teilprojekts war es, ein kontinuierliches Monitoring- und Evaluationssystem (M&E) für interne und externe Weiterbildungen zu entwickeln und zu implementieren, welches die Dillinger Hütte dazu in die Lage versetzt, selbst regelmäßige M+E-Aktivitäten durchzuführen, die erhobenen Daten zu analysieren und zu verwerten.
In diesem Zusammenhang wurden gemeinsam mit der Dillinger Hütte geeignete Erhebungsinstrumente entwickelt und ein Instrument zur technischen Umsetzung von Befragungen eingeführt. Darüber hinaus wurden Schulungen sowohl zur Handhabung des Instruments als auch zur Datenauswertung und -interpretation durchgeführt.

Datenauswertung und Evaluation der Aktivitäten der DW-AKADEMIE in Ruanda

Für die Deutsche Welle evaluierte das Centrum für Evaluation das von der Deutsche Welle-AKADEMIE in Ruanda durchgeführte Training „Reporting for Democracy“. Das von Deutsche Welle-AKADEMIE und der School of Journalism and Communication an der National University of Rwanda gemeinsam organisierte Training umfasste im Zeitraum von Juni 2010 bis April 2011 zehn verschiedene Module zum Thema „Wahlberichterstattung“. Journalisten aus allen Bereichen (Print, Online, Radio, TV) waren Zielgruppe der Veranstaltungen.

Im Rahmen der Datenauswertung und Evaluation wurden die quantitativen und qualitativen Daten der Seminarbeurteilungen der Module ausgewertet. Weiterhin wurden telefonische Kurzinterviews mit sechs bis acht Trainern geführt. Mit Unterstützung der Deutschen Welle-AKADEMIE wurden schließlich alle Teilnehmer in einer Abschlusssitzung einige Monate nach dem letzten Trainingsmodul mittels eines standardisierten Fragebogens um eine Bewertung des langfristigen Nutzens des Trainings gebeten. Ziel der Evaluation war über die deskriptive, summative Auswertung der Rückmeldungen hinaus die Ableitung von Empfehlungen zur Durchführung derartiger Trainings.

Unterstützung der Evaluationsaktivitäten des Doktorandenkollegs DES

Die Doctoral School in Educational Sciences (DES) bietet qualifiziertem wissenschaftlichem Nachwuchs die Möglichkeit, innerhalb von maximal vier Jahren ein Studium mit einem PhD in Psychologie, Geschichts-, Sozial-, Erziehungs- oder Sprachwissenschaften abzuschließen. Um von den Studierenden Rückmeldungen über diverse Aspekte des Studiums (allgemeine Zufriedenheit, Nutzen und Qualität der Lehrveranstaltungen etc.) zu erhalten, wurden seitens des Centrums für Evaluation zwei Instrumente im Auftrag des Doktorandenkollegs entwickelt.

Dabei handelte es sich zum einen um einen lehrangebotsbezogenen Seminarbeurteilungsbogen, der in den Kursen des Kollegs eingesetzt wurde und Erkenntnisse über die Qualität der Veranstaltungen generieren sollte. Zum anderen wurde ein DES-übergreifendes Evaluationsinstrument entwickelt. Dabei handelte es sich um einen Online-Fragebogen, mit dessen Hilfe allgemeine Aspekte des Doktorandenkollegs eruiert wurden, etwa bezüglich der Erwartungen der Studierenden an das Graduiertenkolleg und ihre Erfahrungen mit dem Kolleg.

Während das CEval bei dem Seminarbeurteilungsbogen lediglich für die Instrumentenentwicklung zuständig war, zeichnete das CEval sich im Rahmen der DES-übergreifenden Befragung für den gesamten Befragungsprozess (von der Instrumentenentwicklung über die Durchführung bis hin zur Auswertung der Befragung) verantwortlich.

Saarländische Studierende als ökonomischer Standortfaktor

Hochschulen sind aus mehreren Gründen wichtige ökonomische Faktoren für die Region, in welcher sie angesiedelt sind, und stellen dort einen wesentlichen Standortfaktor dar. Dies gilt zum einen unmittelbar durch das wirtschaftliche Potential der beschäftigten Mitarbeiter:innen und Studierenden, die in Form privaten Konsums Nachfrageeffekte vorrangig in der Region erzeugen und zum anderen durch Infrastrukturinvestitionen (z.B. Baumaßnahmen) der Hochschulen sowie die bevorzugte Ansiedlung von Unternehmen aus know-how-intensiven Branchen.
Neben diesen unmittelbaren, direkten und indirekten sozioökonomischen Effekten erbringen jedoch Hochschulen mittel- und langfristig einen Nutzen, der für die regionale Wirtschafts und Kulturentwicklung insbesondere unter den Bedingungen des demographischen Wandels von zentraler Bedeutung ist. Hochschulen ziehen als attraktive Bildungsstätten junge, begabte Personen aus anderen Regionen an, die zum Teil nach ihrem Studium langfristig dem lokalen saarländischen Arbeitsmarkt als hochqualifizierte Fachkräfte zur Verfügung stehen („Pull-Effekte“).

Den „Pull-Effekten“ stehen jedoch auch „Push-Effekte“ entgegen, welche aus Sicht der Region die Rendite der geleisteten Ausbildungsinvestitionen verringern, ja mittelfristig sogar abhängig vom Ausmaß zu einer negativen Bilanz führen können. Wenn in einer Region keine adäquaten Beschäftigungsmöglichkeiten für die Ausbildungsleistungen der Hochschule vorhanden sind oder das Lohnniveau deutlich unterdurchschnittlich liegt, kann es trotz hoher Exzellenz von Forschung und Lehre zu Abwanderungstendenzen hochqualifizierter Absolvent:innen kommen.

Neben Experteninterviews, die mit Studierenden, Vertretern aus der Politik und Personalverantwortlichen aus Unternehmen geführt wurden, war das Ziel der quantitativen Studierendenbefragung eine umfassende Erfassung der Faktoren, die zur ökonomischen Bewertung der Studierenden notwendig war.

Hochschulkooperation mit der Universität von Costa Rica (UCR) (2012-2015)

Nach einer erfolgreichen dreijährigen Zusammenarbeit zwischen dem Centrum für Evaluation (CEval) der Universität des Saarlandes und der Universität von Costa Rica (UCR) zur Weiterentwicklung des seit 1995 an der UCR implementierten ‚Masterstudiengangs in Evaluation von Projekten und Programmen zur sozialen Entwicklung‘ (MEPPD), planten die beiden Universitäten ab 2011 die Intensivierung und Vertiefung ihrer Kooperation. Der DAAD, der durch sein Beraterprogramm seit 2008 bereits die vorangegangene Zusammenarbeit der beiden Hochschulen finanziell unterstützt hatte, begrüßte dieses Vorhaben. Aus diesem Grund förderte er von 2012 bis 2015 über sein Programm „Fachbezogene Partnerschaften mit Hochschulen in Entwicklungsländern“ auch die zweite Phase der Kooperation zwischen UCR und UdS.

Gemäß der Zielsetzung des DAAD-Programms, durch den akademischen Austausch eine Verbesserung der Lehrsituation zu erreichen und einen Beitrag zum Aufbau von nachhaltigen Strukturen im Bereich der Lehre im Partnerland zu leisten, bildete der Austausch von Studierenden, Promovierenden und Dozierenden einen Schwerpunkt der vierjährigen Kooperation. Weiterhin standen die Öffnung des MEPPD für den zentralamerikanischen Raum (Regionalisierung), die Anpassung der Lehre im Masterstudiengang Evaluation der UCR an die regionale Nachfrage und die daraus abgeleiteten Ausbildungsbedürfnisse (Profilierung) sowie die Einbindung der Hochschulkooperation in bestehende internationale Netzwerke (Internationalisierung) im Mittelpunkt der engeren Zusammenarbeit. Durch die vierjährige Zusammenarbeit konnte die Praxis- und Bedarfsorientierung des MEPPD gestärkt, bestehende regionale und internationale fachliche Netzwerke etabliert bzw. erweitert sowie die Kapazitäten in Lehre und Forschung ausgebaut werden.

Eine Fortsetzung der Kooperation unter Aufnahme einer weiteren Hochschule aus dem lateinamerikanischen Raum ist für 2017 vorgesehen.

Evaluation des Mentoring-Programms 2010 des „MentorinnenNetzwerks für Frauen in Naturwissenschaft und Technik“

Als Basis für eine fortlaufende Qualitätssicherung und -entwicklung der Angebote des „MentorinnenNetzwerks für Frauen in Naturwissenschaft und Technik“ erhielt das CEval den Auftrag, in Zusammenarbeit mit dem Hessischen Koordinierungsbüro ein Monitoring- und Evaluationssystem (M+E-System) für die Aktivitäten und Angebote des Netzwerks zu entwickeln und zu implementieren. Hierzu wurden im Jahr 2011 zwei Instrumente entwickelt, mittels derer die Teilnehmerinnen der jährlichen Mentoring-Programme (Mentorinnen und Mentees) künftig regelmäßig, in standardisierter Form zu relevanten Aspekten befragt werden. Die Auswertung und Analyse der erhobenen Daten dient sowohl der kontinuierlichen Prüfung und ggf. Optimierung der verschiedenen Aktivitäten als auch der jährlichen Rechenschaftslegung gegenüber den Mittelgebern.
Während diese M+E-Aktivitäten ab dem Jahr 2012 von den Mitarbeiterinnen des Hessischen Koordinierungsbüros in Eigenregie durch- bzw. fortgeführt werden, wurde 2011 (noch) das CEval mit der in einen Evaluationsbericht mündenden Auswertung der zum Mentoring-Programm 2010 erhobenen Daten beauftragt.

Grenzüberschreitende Koordination und Kooperation in interregionalen Organisationen am Beispiel Interregionaler Gewerkschaftsräte

Dieses Forschungsprojekt widmete sich der grenzüberschreitenden Zusammenarbeit von Gewerkschaften auf regionaler Ebene, indem es die historische Entwicklung sowie die Funktionsweisen und Problemlösungspotenziale des IGR Saar-Lor-Lux-Trier/Westpfalz vertiefend untersuchte und mit drei weiteren Interregionalen Gewerkschaftsräten verglich. Auf einem institutionalistischen Ansatz aufbauend, wurde in dem Forschungsprojekt ein theoretischer Rahmen entwickelt, der drei Faktorenbündel identifiziert, um vor dem Hintergrund der Entstehung, Entwicklung und Funktionsweise das Problemlösungspotenzial Interregionaler Gewerkschaftsräte zu erfassen: Die strukturelle Einbettung eines IGRs in unterschiedliche nationale Arbeitsmärkte und Wohlfahrtsregime, die Arbeitsbeziehungen und Gewerkschaftsstrukturen in den einzelnen Regionen sowie die interkulturelle Kommunikation und unterschiedliche Gewerkschaftskulturen zwischen den Gewerkschaften, die zusammen einen IGR bilden.

Datenauswertung und Evaluation der Aktivitäten der DW-AKADEMIE in Albanien

Für die Deutsche Welle evaluierte das Centrum für Evaluation die Aktivitäten der Deutsche Welle-AKADEMIE in Albanien. Dabei wurden zwölf Kurse für albanische Radiosender zu den übergreifenden Themen Journalismus und Management durchgeführt. Im Rahmen der Datenauswertung und Evaluation wurden die quantitativen und qualitativen Daten der Seminarbeurteilungen der Kurse nach Journalismus- und Management-Kursen getrennt ausgewertet. Weiterhin wurden telefonische Kurzinterviews mit sechs bis sieben Trainern geführt und eine teilstandardisierte Online-Befragung der Ansprechpartner der albanischen Partnersender realisiert. Ziel der Evaluation war über die deskriptive, summative Auswertung der Rückmeldungen hinaus die Ableitung von Empfehlungen zur Durchführung derartiger Trainings.