Wirkungsevaluation der internen Weiterbildungsmaßnahmen der Aktien-Gesellschaft der Dillinger Hüttenwerke
Ein zentrales Anliegen der Dillinger Hütte ist es, ihre Mitarbeiter und Mitarbeiterinnen dazu zu befähigen, mit dem fortwährenden technischen und wirtschaftlichen Wandel in der Gesellschaft Schritt zu halten. Gemäß dem Grundsatz „Weiterbildung ist ein unverzichtbares Element für die eigene und die Zukunft des Unternehmens“ bietet die Dillinger Hütte für ihre Mitarbeiterinnen und Mitarbeiter ein umfassendes Weiterbildungsprogramm an. Dieses zielt darauf ab sowohl fachliche als auch soziale Kompetenzen zu stärken.
Die Dillinger Hütte ist bestrebt qualitative hochwertige Weiterbildungen anzubieten und sich in diesem Zusammenhang kontinuierliche weiterzuentwickeln. Aufgrund dessen führte das Centrum für Evaluation ein umfassendes Evaluationsprojekt durch. Dieses besteht aus zwei Teilprojekten:
1. Einer Wirkungsevaluation der internen Weiterbildungsmaßnahmen
2. Die Entwicklung und Implementierung eines M&E-Systems
Ziel des ersten Teilprojekts war es, strategisch relevante, interne Weiterbildungen bezüglich ihrer Wirkung und Nachhaltigkeit zu beurteilen, um dadurch den Lernprozess und die kontinuierliche Verbesserung des Programms voranzutreiben.
Methodisch umfasste diese Evaluation eine Dokumenten-und Sekundäranalyse sowie explorative Interviews zur Entwicklung von Wirkungsindikatoren. Anhand leitfadengestützter Interviews mit Vorgesetzten der Teilnehmenden sowie einer Online-Erhebung wurden Wirkung und Nachhaltigkeit der Weiterbildungen erfasst.
Entwicklung und Implementierung eines M&E-Systems für die Weiterbildungsaktivitäten der Aktien-Gesellschaft der Dillinger Hüttenwerke
Ein zentrales Anliegen der Dillinger Hütte ist es, ihre Mitarbeiter und Mitarbeiterinnen dazu zu befähigen, mit dem fortwährenden technischen und wirtschaftlichen Wandel in der Gesellschaft Schritt zu halten. Gemäß dem Grundsatz „Weiterbildung ist ein unverzichtbares Element für die eigene und die Zukunft des Unternehmens“ bietet die Dillinger Hütte für ihre Mitarbeiterinnen und Mitarbeiter ein umfassendes Weiterbildungsprogramm an. Dieses zielt darauf ab sowohl fachliche als auch soziale Kompetenzen zu stärken.
Die Dillinger Hütte ist bestrebt qualitative hochwertige Weiterbildungen anzubieten und sich in diesem Zusammenhang kontinuierliche weiterzuentwickeln. Aufgrund dessen führte das Centrum für Evaluation ein umfassendes Evaluationsprojekt durch. Dieses besteht aus zwei Teilprojekten:
1. Einer Wirkungsevaluation der internen Weiterbildungsmaßnahmen
2. Die Entwicklung und Implementierung eines M&E-Systems
Ziel des zweiten Teilprojekts war es, ein kontinuierliches Monitoring- und Evaluationssystem (M&E) für interne und externe Weiterbildungen zu entwickeln und zu implementieren, welches die Dillinger Hütte dazu in die Lage versetzt, selbst regelmäßige M+E-Aktivitäten durchzuführen, die erhobenen Daten zu analysieren und zu verwerten.
In diesem Zusammenhang wurden gemeinsam mit der Dillinger Hütte geeignete Erhebungsinstrumente entwickelt und ein Instrument zur technischen Umsetzung von Befragungen eingeführt. Darüber hinaus wurden Schulungen sowohl zur Handhabung des Instruments als auch zur Datenauswertung und -interpretation durchgeführt.
Datenauswertung und Evaluation der Aktivitäten der DW-AKADEMIE in Ruanda
Für die Deutsche Welle evaluierte das Centrum für Evaluation das von der Deutsche Welle-AKADEMIE in Ruanda durchgeführte Training „Reporting for Democracy“. Das von Deutsche Welle-AKADEMIE und der School of Journalism and Communication an der National University of Rwanda gemeinsam organisierte Training umfasste im Zeitraum von Juni 2010 bis April 2011 zehn verschiedene Module zum Thema „Wahlberichterstattung“. Journalisten aus allen Bereichen (Print, Online, Radio, TV) waren Zielgruppe der Veranstaltungen.
Im Rahmen der Datenauswertung und Evaluation wurden die quantitativen und qualitativen Daten der Seminarbeurteilungen der Module ausgewertet. Weiterhin wurden telefonische Kurzinterviews mit sechs bis acht Trainern geführt. Mit Unterstützung der Deutschen Welle-AKADEMIE wurden schließlich alle Teilnehmer in einer Abschlusssitzung einige Monate nach dem letzten Trainingsmodul mittels eines standardisierten Fragebogens um eine Bewertung des langfristigen Nutzens des Trainings gebeten. Ziel der Evaluation war über die deskriptive, summative Auswertung der Rückmeldungen hinaus die Ableitung von Empfehlungen zur Durchführung derartiger Trainings.
Evaluierung Hochschulbildung in Nicaragua und Südosteuropa 2005-2009
Gegenstand der Evaluation war die Maßnahmen zur Unterstützung des Hochschulsektors in den Schwerpunktländern der österreichischen Entwicklungszusammenarbeit (OEZA) in Südosteuropa (SOE) sowie Lateinamerika
(LA). Während der Fokus der OEZA in SOE auf arbeitsmarktorientierter Hochschulbildung und der Integration in den Europäischen Hochschul- und Forschungsraum liegt, wurden in LA vor allem Bildungsprojekte zur Stärkung von Minoritäten gefördert.
Aufgabe der Evaluation war es, die bisher erzielten Ergebnisse auf ihre Relevanz, Effektivität, entwicklungspolitische Wirksamkeit und Nachhaltigkeit hin zu untersuchen. Des Weiteren sollten die Capacity-Building Effekte bei den Partnerorganisationen sowie deren Ownership bewertet werden. Ausgehend von einer umfassenden
Dokumentenanalyse wurden hierfür im Rahmen dreier Feldstudien in Nicaragua, Serbien und dem Kosovo empirische Daten an den jeweiligen Standorten gesammelt und in einem Synthesebericht vergleichend
ausgewertet.
Ziel war es dabei insbesondere Optionen für zukünftige Interventionen, entsprechend den strategischen Zielsetzungen der OEZA in den Bereichen Hochschulbildung und Wissenschaftskooperation, im Sinne der Entwicklung eines kohärenten programmbasierten Ansatzes aufzuzeigen.
Evaluation der Mitarbeitergespräche 2010 der Aktien-Gesellschaft der Dillinger Hüttenwerke
Seit 2008 führt die Dillinger Hütte systematisch Mitarbeitergespräche (MAG) als Instrument der Mitarbeiterführung durch. Ziel der MAG ist es, zu einer stärkeren Fokussierung auf die Unternehmensziele, zur Erweiterung der Unternehmenskultur, zur Förderung der Mitarbeiter und Optimierung der unternehmensinternen Zusammenarbeit beizutragen.
Aufgabe des CEval im Rahmen der Evaluation war zum einen die Bewertung der Effektivität der MAG und zum anderen sollten verschiedene Gesprächselemente und die Verständlichkeit des Instruments insgesamt bewertet und geeignete Optimierungsmaßnahmen identifiziert werden.
Hierzu wurde vom CEval in Abstimmung mit der Dillinger Hütte eine standardisierte Online-Befragung der Mitarbeiter des Unternehmens über verschiedene Hierarchieebenen hinweg konzipiert und durchgeführt. Ergänzend wurden 20 leitfadengestützte Interviews mit verschiedenen Mitarbeitern des Unternehmens geführt.
Evaluation des Programms Bi-nationales Promotionsnetzwerk (PhD-Net)
Ziel des BMBF-geförderten DAAD-Programms „Bi-nationales Promotionsnetzwerk“ (PhD-Net) ist es, Kooperationen zwischen deutschen und ausländischen Hochschulen auf dem Gebiet der Doktorandenausbildung zu initiieren und zu fördern, um ausländischen Doktoranden grenzüberschreitende, binationale Promotionen zu ermöglichen und hochqualifizierte ausländische Nachwuchswissenschaftler für eine wissenschaftliche Karriere in Deutschland und/oder für den Aufbau wissenschaftlicher Kooperationsbeziehungen mit Deutschland zu gewinnen. Förderungsfähig sind dabei sowohl Anbahnungsreisen und Summer Schools als auch Promotionsprogramme.
Im Rahmen der Evaluationsstudie wurde die Zielerreichung und Wirksamkeit des PhD-Net-Programms untersucht. Aufgabe war es, sowohl die Erreichung der unmittelbaren Ziele, die sich direkt aus den drei Förderlinien ableiten lassen, zu ermitteln als auch eine Aussage über die Verwirklichung der mittel- und langfristigen Ziele auf institutioneller sowie individueller Ebene zu treffen. Ergänzend dazu sollte die Effizienz des Programms bewertet werden. Hierbei war zum einen zu analysieren, ob und inwieweit die Fördermaßnahmen sinnvoll aufgebaut waren, welche konkreten Maßnahmen innerhalb der Projekte durchgeführt wurden und welche Maßnahmen sich als besonders bzw. weniger effizient und wirksam im Hinblick auf die Zielerreichung erwiesen hatten. Zum anderen sollten die Programmadministration sowie die Programmdurchführung durch den DAAD und verwendete Monitoringinstrumente untersucht und bewertet werden.
Aus den dabei gewonnenen Erkenntnissen waren konkrete Schlussfolgerungen und Empfehlungen zur Weiterentwicklung des Förderprogramms „International promovieren in Deutschland“ (IPID) zu erarbeiten, welches eine derzeit geplante Laufzeit von 2010 bis 2013 hatte.
Evaluation des Projekts „AnschlussDirekt“
Gegenstand der Evaluation war das im Jahr 2010 durch das Ministerium für Wirtschaft und Wissenschaft des Saarlandes ins Leben gerufene und auf drei Jahre angelegte Projekt AnschlussDirekt. Im Rahmen des Projektes wurden Schülerinnen und Schüler mit einer positiven Hauptschulabschlussprognose in der Phase der Berufsorientierung und während der Ausbildungsplatzsuche intensiv betreut. Die Betreuung der Jugendlichen erfolgte in erster Linie durch die Mitarbeiter der Projektkoordinierungsstelle, aber auch – und dies ist die Besonderheit des Modellprojekts & durch ehrenamtlich agierende „Paten“ (Wirtschaftsexperten und Personalverantwortliche saarländischer Unternehmen). Ziel war es, den Anteil der Schülerinnen und Schüler zu erhöhen, die direkt im Anschluss an ihren Hauptschulabschluss eine betriebliche Ausbildung beginnen.
Aufgabe der begleitenden Evaluation war zunächst die Unterstützung beim Aufbau eines Monitoringssystems, in dem für das Projektmanagement steuerungsrelevante Daten erfasst und bedarfsgerecht abgerufen werden können.
Ergänzend hierzu wurden die Paten im Rahmen einer telefonischen Befragung zu ihren Eindrücken und Bewertungen hinsichtlich des Projekts und ihrer Beratungen befragt.
Des Weiteren bestand die Aufgabe der Evaluation darin, Projektwirkungen auf der Ebene der Zielgruppe zu erfassen. Hierzu wurden zu verschiedenen Zeitpunkten standardisierte Befragungen mit den am Projekt beteiligten Jugendlichen durchgeführt. Die Ergebnisse dieser Befragungen wurden mit eigens erhobenen Baselinedaten von Schülerinnen und Schüler, die nicht am Projekt teilnehmen, systematisch verglichen.
Aus den Evaluationsbefunden wurden regelmäßig Empfehlungen zur Projektoptimierung abgeleitet und der Projektkoordination zur Verfügung gestellt.
Datenauswertung und Evaluation der Aktivitäten der DW-AKADEMIE in Albanien
Für die Deutsche Welle evaluierte das Centrum für Evaluation die Aktivitäten der Deutsche Welle-AKADEMIE in Albanien. Dabei wurden zwölf Kurse für albanische Radiosender zu den übergreifenden Themen Journalismus und Management durchgeführt. Im Rahmen der Datenauswertung und Evaluation wurden die quantitativen und qualitativen Daten der Seminarbeurteilungen der Kurse nach Journalismus- und Management-Kursen getrennt ausgewertet. Weiterhin wurden telefonische Kurzinterviews mit sechs bis sieben Trainern geführt und eine teilstandardisierte Online-Befragung der Ansprechpartner der albanischen Partnersender realisiert. Ziel der Evaluation war über die deskriptive, summative Auswertung der Rückmeldungen hinaus die Ableitung von Empfehlungen zur Durchführung derartiger Trainings.
Evaluation des Projekts „College of Europe“
Das College of Europe mit den beiden Standorten Brügge (Belgien) sowie Natolin (bei Warschau in Polen) ist ein 1949 gegründetes, unabhängiges, postgraduales Hochschulinstitut für europäische Studien. Oftmals auch als „Kaderschmiede für europäische Politik“ bezeichnet, studieren hier jährlich rund 400 Absolventinnen und Absolventen von Hochschulen und Universitäten aus mehr als 50 Ländern, mit dem Ziel eines Master-Abschlusses. Seit 1949 führt das Netzwerk Europäische Bewegung Deutschland (EBD) die Auswahl und Betreuung von jährlich bis zu 40 deutschen Stipendiaten am College of Europe durch. Rund 90 Prozent erhalten ein Stipendium des Bundesministeriums für Bildung und Forschung (BMBF).
Für das EBD evaluierte das Centrum für Evaluation den Einfluss des Colleges of Europe auf den Werdegang der deutschen Alumni. Ziel der Evaluation war das Herausarbeiten von Argumenten für oder gegen eine Fortsetzung des Stipendienprogramms sowie von Anknüpfungspunkten für eine schärfere Positionierung des Colleges und des Stipendienprogramms. Zur Bearbeitung dieser Aufgabenstellung erfolgten umfangreiche Dokumenten- und Sekundäranalysen und es wurden leitfadengestützte Intensivinterviews mit zentralen Verantwortlichen geführt. Schließlich dienten Online-Befragungen dazu, den Einfluss des Colleges auf die Karrieren der Alumni zu evaluieren.
Evaluation der Mitarbeitergespräche 2011 der Aktien-Gesellschaft der Dillinger Hüttenwerke
Seit 2008 führt die Dillinger Hütte systematisch Mitarbeitergespräche (MAG) als Instrument der Mitarbeiterführung durch. Ziel der MAG ist es, zu einer stärkeren Fokussierung auf die Unternehmensziele, zur Erweiterung der Unternehmenskultur, zur Förderung der Mitarbeiter und Optimierung der unternehmensinternen Zusammenarbeit beizutragen.
Die Dillinger MAG wurden bereits im Jahr 2010 durch das CEval evaluiert. Aufgrund der daraus resultierenden Ergebnisse wurden Anpassungen am MAG vorgenommen. Aufgabe der Evaluation der MAG 2011 war es zum einen, die Nützlichkeit und Effektivität dieser Anpassungen des MAG und seiner Instrumente zu bewerten. Zum anderen sollte eruiert werden, ob die Transparenz über die Zielsetzungen des MAG verbessert werden konnte und ob das MAG in den Dillinger Hüttenwerken insgesamt als akzeptiertes und verankertes Instrument angesehen werden kann. Aus den Erkenntnissen der Evaluation sind letztlich geeignete Optimierungsmaßnahmen zu identifizieren.
Hierzu wurde vom CEval in Abstimmung mit der Dillinger Hütte eine standardisierte Online-Befragung der Mitarbeiter des Unternehmens über verschiedene Hierarchieebenen hinweg konzipiert und durchgeführt. Ergänzend wurden 15 leitfadengestützte Interviews mit verschiedenen Mitarbeitern des Unternehmens geführt. Im Rahmen der Datenanalysen wurden die in 2010 und 2011 erhobenen Daten zusammengeführt und im Längsschnitt ausgewertet.
