Entwicklung und Implementierung eines M&E-Systems für das „MentorinnenNetzwerk für Frauen in Naturwissenschaft und Technik“
Das „MentorinnenNetzwerk für Frauen in Naturwissenschaft und Technik“ ist ein seit 1998 bestehender, hochschulübergreifender Verbund aller hessischen Universitäten und Fachhochschulen und stellt mit rund 1.500 Mitgliedern das größte Mentoring-Projekt in der europäischen Hochschullandschaft dar. Das Netzwerk richtet sich an Frauen in Natur- und Ingenieurwissenschaften, die sich in der Qualifizierungsphase Studium oder Promotion befinden und zielt darauf ab, die Absolventinnenzahlen in naturwissenschaftlich-technischen Studiengängen und bei Promotionen zu erhöhen sowie die Karrierechancen von Frauen in naturwissenschaftlich-technischen Berufen zu verbessern und damit den Frauenanteil in attraktiven Positionen in Wissenschaft und Wirtschaft zu erhöhen.
Nachdem das Centrum für Evaluation (CEval) 2008 bereits eine Absolventenverbleibsstudie sowie eine Kontextanalyse für das MentorinnenNetzwerk durchgeführt hatte, wurde es 2011 mit der Entwicklung und Implementierung eines Monitoring- und Evaluationssystems (M&E-System) für das Mentoring-Programm des MentorinnenNetzwerks beauftragt. Dieses sollte die Mitarbeiterinnen des Hessischen Koordinierungsbüros des MentorinnenNetzwerks dazu befähigen, künftig selbst regelmäßige M&E-Aktivitäten durchzuführen, die dabei erhobenen Daten zu analysieren und zu verwerten. Die Mitarbeiterinnen wurden vonseiten des CEval entsprechend geschult und bei den ersten Erhebungen begleitet.
Wirkungsevaluation der internen Weiterbildungsmaßnahmen der Aktien-Gesellschaft der Dillinger Hüttenwerke
Ein zentrales Anliegen der Dillinger Hütte ist es, ihre Mitarbeiter und Mitarbeiterinnen dazu zu befähigen, mit dem fortwährenden technischen und wirtschaftlichen Wandel in der Gesellschaft Schritt zu halten. Gemäß dem Grundsatz „Weiterbildung ist ein unverzichtbares Element für die eigene und die Zukunft des Unternehmens“ bietet die Dillinger Hütte für ihre Mitarbeiterinnen und Mitarbeiter ein umfassendes Weiterbildungsprogramm an. Dieses zielt darauf ab sowohl fachliche als auch soziale Kompetenzen zu stärken.
Die Dillinger Hütte ist bestrebt qualitative hochwertige Weiterbildungen anzubieten und sich in diesem Zusammenhang kontinuierliche weiterzuentwickeln. Aufgrund dessen führte das Centrum für Evaluation ein umfassendes Evaluationsprojekt durch. Dieses besteht aus zwei Teilprojekten:
1. Einer Wirkungsevaluation der internen Weiterbildungsmaßnahmen
2. Die Entwicklung und Implementierung eines M&E-Systems
Ziel des ersten Teilprojekts war es, strategisch relevante, interne Weiterbildungen bezüglich ihrer Wirkung und Nachhaltigkeit zu beurteilen, um dadurch den Lernprozess und die kontinuierliche Verbesserung des Programms voranzutreiben.
Methodisch umfasste diese Evaluation eine Dokumenten-und Sekundäranalyse sowie explorative Interviews zur Entwicklung von Wirkungsindikatoren. Anhand leitfadengestützter Interviews mit Vorgesetzten der Teilnehmenden sowie einer Online-Erhebung wurden Wirkung und Nachhaltigkeit der Weiterbildungen erfasst.
Evaluierung Hochschulbildung in Nicaragua und Südosteuropa 2005-2009
Gegenstand der Evaluation war die Maßnahmen zur Unterstützung des Hochschulsektors in den Schwerpunktländern der österreichischen Entwicklungszusammenarbeit (OEZA) in Südosteuropa (SOE) sowie Lateinamerika
(LA). Während der Fokus der OEZA in SOE auf arbeitsmarktorientierter Hochschulbildung und der Integration in den Europäischen Hochschul- und Forschungsraum liegt, wurden in LA vor allem Bildungsprojekte zur Stärkung von Minoritäten gefördert.
Aufgabe der Evaluation war es, die bisher erzielten Ergebnisse auf ihre Relevanz, Effektivität, entwicklungspolitische Wirksamkeit und Nachhaltigkeit hin zu untersuchen. Des Weiteren sollten die Capacity-Building Effekte bei den Partnerorganisationen sowie deren Ownership bewertet werden. Ausgehend von einer umfassenden
Dokumentenanalyse wurden hierfür im Rahmen dreier Feldstudien in Nicaragua, Serbien und dem Kosovo empirische Daten an den jeweiligen Standorten gesammelt und in einem Synthesebericht vergleichend
ausgewertet.
Ziel war es dabei insbesondere Optionen für zukünftige Interventionen, entsprechend den strategischen Zielsetzungen der OEZA in den Bereichen Hochschulbildung und Wissenschaftskooperation, im Sinne der Entwicklung eines kohärenten programmbasierten Ansatzes aufzuzeigen.
Evaluation der Mitarbeitergespräche 2010 der Aktien-Gesellschaft der Dillinger Hüttenwerke
Seit 2008 führt die Dillinger Hütte systematisch Mitarbeitergespräche (MAG) als Instrument der Mitarbeiterführung durch. Ziel der MAG ist es, zu einer stärkeren Fokussierung auf die Unternehmensziele, zur Erweiterung der Unternehmenskultur, zur Förderung der Mitarbeiter und Optimierung der unternehmensinternen Zusammenarbeit beizutragen.
Aufgabe des CEval im Rahmen der Evaluation war zum einen die Bewertung der Effektivität der MAG und zum anderen sollten verschiedene Gesprächselemente und die Verständlichkeit des Instruments insgesamt bewertet und geeignete Optimierungsmaßnahmen identifiziert werden.
Hierzu wurde vom CEval in Abstimmung mit der Dillinger Hütte eine standardisierte Online-Befragung der Mitarbeiter des Unternehmens über verschiedene Hierarchieebenen hinweg konzipiert und durchgeführt. Ergänzend wurden 20 leitfadengestützte Interviews mit verschiedenen Mitarbeitern des Unternehmens geführt.
Evaluation des Programms Bi-nationales Promotionsnetzwerk (PhD-Net)
Ziel des BMBF-geförderten DAAD-Programms „Bi-nationales Promotionsnetzwerk“ (PhD-Net) ist es, Kooperationen zwischen deutschen und ausländischen Hochschulen auf dem Gebiet der Doktorandenausbildung zu initiieren und zu fördern, um ausländischen Doktoranden grenzüberschreitende, binationale Promotionen zu ermöglichen und hochqualifizierte ausländische Nachwuchswissenschaftler für eine wissenschaftliche Karriere in Deutschland und/oder für den Aufbau wissenschaftlicher Kooperationsbeziehungen mit Deutschland zu gewinnen. Förderungsfähig sind dabei sowohl Anbahnungsreisen und Summer Schools als auch Promotionsprogramme.
Im Rahmen der Evaluationsstudie wurde die Zielerreichung und Wirksamkeit des PhD-Net-Programms untersucht. Aufgabe war es, sowohl die Erreichung der unmittelbaren Ziele, die sich direkt aus den drei Förderlinien ableiten lassen, zu ermitteln als auch eine Aussage über die Verwirklichung der mittel- und langfristigen Ziele auf institutioneller sowie individueller Ebene zu treffen. Ergänzend dazu sollte die Effizienz des Programms bewertet werden. Hierbei war zum einen zu analysieren, ob und inwieweit die Fördermaßnahmen sinnvoll aufgebaut waren, welche konkreten Maßnahmen innerhalb der Projekte durchgeführt wurden und welche Maßnahmen sich als besonders bzw. weniger effizient und wirksam im Hinblick auf die Zielerreichung erwiesen hatten. Zum anderen sollten die Programmadministration sowie die Programmdurchführung durch den DAAD und verwendete Monitoringinstrumente untersucht und bewertet werden.
Aus den dabei gewonnenen Erkenntnissen waren konkrete Schlussfolgerungen und Empfehlungen zur Weiterentwicklung des Förderprogramms „International promovieren in Deutschland“ (IPID) zu erarbeiten, welches eine derzeit geplante Laufzeit von 2010 bis 2013 hatte.
Evaluation des Projekts „AnschlussDirekt“
Gegenstand der Evaluation war das im Jahr 2010 durch das Ministerium für Wirtschaft und Wissenschaft des Saarlandes ins Leben gerufene und auf drei Jahre angelegte Projekt AnschlussDirekt. Im Rahmen des Projektes wurden Schülerinnen und Schüler mit einer positiven Hauptschulabschlussprognose in der Phase der Berufsorientierung und während der Ausbildungsplatzsuche intensiv betreut. Die Betreuung der Jugendlichen erfolgte in erster Linie durch die Mitarbeiter der Projektkoordinierungsstelle, aber auch – und dies ist die Besonderheit des Modellprojekts & durch ehrenamtlich agierende „Paten“ (Wirtschaftsexperten und Personalverantwortliche saarländischer Unternehmen). Ziel war es, den Anteil der Schülerinnen und Schüler zu erhöhen, die direkt im Anschluss an ihren Hauptschulabschluss eine betriebliche Ausbildung beginnen.
Aufgabe der begleitenden Evaluation war zunächst die Unterstützung beim Aufbau eines Monitoringssystems, in dem für das Projektmanagement steuerungsrelevante Daten erfasst und bedarfsgerecht abgerufen werden können.
Ergänzend hierzu wurden die Paten im Rahmen einer telefonischen Befragung zu ihren Eindrücken und Bewertungen hinsichtlich des Projekts und ihrer Beratungen befragt.
Des Weiteren bestand die Aufgabe der Evaluation darin, Projektwirkungen auf der Ebene der Zielgruppe zu erfassen. Hierzu wurden zu verschiedenen Zeitpunkten standardisierte Befragungen mit den am Projekt beteiligten Jugendlichen durchgeführt. Die Ergebnisse dieser Befragungen wurden mit eigens erhobenen Baselinedaten von Schülerinnen und Schüler, die nicht am Projekt teilnehmen, systematisch verglichen.
Aus den Evaluationsbefunden wurden regelmäßig Empfehlungen zur Projektoptimierung abgeleitet und der Projektkoordination zur Verfügung gestellt.
Datenauswertung und Evaluation der Aktivitäten der DW-AKADEMIE in Albanien
Für die Deutsche Welle evaluierte das Centrum für Evaluation die Aktivitäten der Deutsche Welle-AKADEMIE in Albanien. Dabei wurden zwölf Kurse für albanische Radiosender zu den übergreifenden Themen Journalismus und Management durchgeführt. Im Rahmen der Datenauswertung und Evaluation wurden die quantitativen und qualitativen Daten der Seminarbeurteilungen der Kurse nach Journalismus- und Management-Kursen getrennt ausgewertet. Weiterhin wurden telefonische Kurzinterviews mit sechs bis sieben Trainern geführt und eine teilstandardisierte Online-Befragung der Ansprechpartner der albanischen Partnersender realisiert. Ziel der Evaluation war über die deskriptive, summative Auswertung der Rückmeldungen hinaus die Ableitung von Empfehlungen zur Durchführung derartiger Trainings.
Evaluation des Projekts „College of Europe“
Das College of Europe mit den beiden Standorten Brügge (Belgien) sowie Natolin (bei Warschau in Polen) ist ein 1949 gegründetes, unabhängiges, postgraduales Hochschulinstitut für europäische Studien. Oftmals auch als „Kaderschmiede für europäische Politik“ bezeichnet, studieren hier jährlich rund 400 Absolventinnen und Absolventen von Hochschulen und Universitäten aus mehr als 50 Ländern, mit dem Ziel eines Master-Abschlusses. Seit 1949 führt das Netzwerk Europäische Bewegung Deutschland (EBD) die Auswahl und Betreuung von jährlich bis zu 40 deutschen Stipendiaten am College of Europe durch. Rund 90 Prozent erhalten ein Stipendium des Bundesministeriums für Bildung und Forschung (BMBF).
Für das EBD evaluierte das Centrum für Evaluation den Einfluss des Colleges of Europe auf den Werdegang der deutschen Alumni. Ziel der Evaluation war das Herausarbeiten von Argumenten für oder gegen eine Fortsetzung des Stipendienprogramms sowie von Anknüpfungspunkten für eine schärfere Positionierung des Colleges und des Stipendienprogramms. Zur Bearbeitung dieser Aufgabenstellung erfolgten umfangreiche Dokumenten- und Sekundäranalysen und es wurden leitfadengestützte Intensivinterviews mit zentralen Verantwortlichen geführt. Schließlich dienten Online-Befragungen dazu, den Einfluss des Colleges auf die Karrieren der Alumni zu evaluieren.
Evaluation der Mitarbeitergespräche 2011 der Aktien-Gesellschaft der Dillinger Hüttenwerke
Seit 2008 führt die Dillinger Hütte systematisch Mitarbeitergespräche (MAG) als Instrument der Mitarbeiterführung durch. Ziel der MAG ist es, zu einer stärkeren Fokussierung auf die Unternehmensziele, zur Erweiterung der Unternehmenskultur, zur Förderung der Mitarbeiter und Optimierung der unternehmensinternen Zusammenarbeit beizutragen.
Die Dillinger MAG wurden bereits im Jahr 2010 durch das CEval evaluiert. Aufgrund der daraus resultierenden Ergebnisse wurden Anpassungen am MAG vorgenommen. Aufgabe der Evaluation der MAG 2011 war es zum einen, die Nützlichkeit und Effektivität dieser Anpassungen des MAG und seiner Instrumente zu bewerten. Zum anderen sollte eruiert werden, ob die Transparenz über die Zielsetzungen des MAG verbessert werden konnte und ob das MAG in den Dillinger Hüttenwerken insgesamt als akzeptiertes und verankertes Instrument angesehen werden kann. Aus den Erkenntnissen der Evaluation sind letztlich geeignete Optimierungsmaßnahmen zu identifizieren.
Hierzu wurde vom CEval in Abstimmung mit der Dillinger Hütte eine standardisierte Online-Befragung der Mitarbeiter des Unternehmens über verschiedene Hierarchieebenen hinweg konzipiert und durchgeführt. Ergänzend wurden 15 leitfadengestützte Interviews mit verschiedenen Mitarbeitern des Unternehmens geführt. Im Rahmen der Datenanalysen wurden die in 2010 und 2011 erhobenen Daten zusammengeführt und im Längsschnitt ausgewertet.
Grenzüberschreitende Arbeitsmarktpolitik: Institutionen und institutionelle Steuerung des Arbeitsmarktes in der Großregion SaarLorLux
Der Arbeitsmarkt der Großregion SaarLorLux (Saarland, Lothringen, Luxemburg, Rheinland-Pfalz und Wallonie) ist durch umfangreiche grenzüberschreitende Pendlerströme geprägt. Nahezu 200.000 Berufspendler überqueren im Vierländereck täglich eine nationale Grenze auf dem Weg zu ihrer Arbeitsstelle (IBA 2009).
Die Öffnung der Märkte bedeutet für Grenzregionen wie den SaarLorLux-Raum neue Möglichkeiten, aber auch neue Schwierigkeiten hinsichtlich der aktiven Gestaltung dieses Marktes und seiner Rahmenbedingungen. Nationale Unterschiede der Arbeitsgesetzgebung, Lohngestaltung, Beschäftigungssicherung, Arbeitsplatzgestaltung etc. stellen sich zunehmend als komparative Standortvor- bzw. &nachteile dar, die grenzüberschreitende Pendelbewegungen der Arbeitskräfte bewirken und gleichzeitig auch Effekte auf die Verhandlungen der Arbeitgeber- und Arbeitnehmervertretungen sowie die Politik der betroffenen Regionen haben. Dabei werden die Handlungsmöglichkeiten der lokalen Akteure durch die nationalen Regelungen und Politiken begrenzt und eventuell sogar in Bezug auf eine rationale, koordinierte Gestaltung der Arbeitsbeziehungen innerhalb der Großregion behindert. Gleichzeitig erhöht sich auch der Druck auf die Akteure, die nun einen Interessenausgleich nicht nur innerhalb einer Nation sondern auch zwischen den Nationen zu suchen und zu einer gemeinsamen Arbeits- und Beschäftigungspolitik zu finden haben.
Ziel des Forschungsprojektes war es, transnationale Institutionen des Arbeitsmarkts der Großregion zu erfassen und hinsichtlich ihrer Funktionalität als politische Steuerungsgremien und zur Herausbildung einer grenzüberschreitenden Integration zu bewerten.
In einer ersten explorativen Projektphase wurden hierzu neben umfangreichen Sekundäranalysen Interviews mit ausgewählten Experten zur Situation des Arbeitsmarktes geführt. Auf Grundlage der dabei gewonnen Informationen wurde in der zweiten Phase unter Berücksichtigung einer netzwerktheoretischen Perspektive eine standardisierte Online-Befragung von Vertretern aller relevanten interregional tätigen Gremien des Arbeitsmarktes der Großregion durchgeführt.
Interregionale Arbeitsmarktbeobachtungsstelle (2009). Die Arbeitsmarktsituation in der Großregion. 6. Bericht der Interregionalen Arbeitsmarktbeobachtungsstelle an den 11. Gipfel der Exekutive der Großregion. Saarbrücken.