Evaluation der Mitarbeitergespräche 2013 der Saarstahl AG
Im Jahr 2013 führte die Saarstahl AG auf Wunsch der Führungskräfte systematische Mitarbeitergespräche (MAG) als Instrument der Mitarbeiterführung ein. Dieses partnerschaftliche, anlassunabhängige Vieraugengespräch wird nun jährlich zwischen Mitarbeiter:innen mit Führungsverantwortung und deren Vorgesetzten durchgeführt, um eine verbesserte Ausrichtung auf die Ziele des Unternehmens und die Unternehmenskultur zu erreichen und eine Förderung der Mitarbeiter:innen und Verbesserung der Zusammenarbeit innerhalb des Unternehmens zu realisieren.
Die Aufgabe der Evaluation des MAG 2013 war es zu prüfen, ob die Einführung des MAG erfolgreich verlaufen ist. Besonderer Fokus lag dabei auf der Vorbereitung der Mitarbeiter:innen auf das Gespräch (Schulungen, Materialien) sowie auf der Handhabbarkeit des Instruments hinsichtlich Inhalt und Struktur. Darüber hinaus galt es zu bewerten, inwieweit das MAG als sinnvolles Instrument der Mitarbeiterführung angesehen wird und ob dadurch eine Verbesserung der Führungskultur im Unternehmen Saarstahl erreicht werden konnte. Ziel war es, das MAG in seiner gegenwärtigen Form zu bewerten und ggf. Optimierungspotenziale zu identifizieren. Hierzu wurde von der CEval GmbH in Abstimmung mit der Saarstahl AG eine standardisierte Online-Befragung der Mitarbeiter:innen des Unternehmens über verschiedene Hierarchieebenen hinweg konzipiert und durchgeführt. Im Vorfeld dazu wurden leitfadengestützte Interviews unter anderem mit für die Implementierung verantwortlichen Personen sowie mit ausgewählten Mitarbeiter:innenn unterschiedlicher Hierarchieebenen des Unternehmens geführt.Unterstützung der Qualitätssicherungsprozesse des SIAP
Das Saarländische Institut zur Aus- und Weiterbildung in Psychotherapie (SIAP) wurde 1995 gegründet und gehört zur Saarland Heilstätten GmbH (SHG). Das Institut ist eine staatlich anerkannte Ausbildungsstätte unter anderem für Psychologische Psychotherapeut:innen und Kinder- und Jugendpsychotherapeut:innen.
Aufgabe der seitens des SIAP beauftragten Beratung, die auch eine Evaluation einschloss, war es für die beiden Ausbildungen a) Verbesserungspotentiale innerhalb der Ausgestaltung der Ausbildung aufzudecken und b) zur Qualitätssicherung der Kurse einen Fragebogen zu entwickeln. Dafür wurden neben einer vertiefenden Analyse vorhandener Akten, Programmdokumente und der einschlägigen Literatur vor allem Leitfaden- und Gruppeninterviews mit den Ausbildungsteilnehmern (aus unterschiedlichen Ausbildungsstufen), den Praxisanleitern, den Dozenten und Supervisoren & und damit mit allen an der Ausbildung beteiligten Akteuren & durchgeführt. Besonders im Fokus stand dabei die Frage, inwieweit die Ausbildungsabsolventen durch Optimierungen der Ausbildungsprozesse entlastet und gleichzeitig zielgerichteter auf eine Tätigkeit in der therapeutischen Praxis vorbereitet werden können. Alle Daten wurden einer synergetischen Datenauswertung unterzogen und mündeten in einem kurzen Evaluationsbericht inklusive Empfehlungen zur Weiterentwicklung der Ausbildung. Daran anschließend wurde ein Fragebogen zur fortlaufenden Qualitätssicherung der Ausbildungskurse entwickelt, in den neben den Ergebnissen aus der Literaturanalyse die Erkenntnisse aus den qualitativen Interviews einflossen. Damit die Datenerhebungen sowie deren Auswertung von den Mitarbeitern des Instituts auch nach Beendung des Evaluationsprojekts in Eigenregie erfolgen können, wurde im Rahmen des Vorhabens zusätzlich ein Leitfaden entwickelt.Evaluation der Umsetzung des internetstrategischen Konzepts „Länderportale als interkulturelle Begegnungsplattform“
Gegenstand der Evaluation war die Umsetzung des
internetstrategischen Konzepts des Goethe Instituts (GI) „Länderportale als interkulturelle Begegnungsplattform“. Dieses Konzept ist seit 2011 für das GI handlungsleitend und folgt dem Leitgedanken, dass
– das Erlebnis der Begegnung durch Multimedia und Online-Interaktion bedeutsam ist,
– das Online-Angebot im Sinne einer Plattform durch (eine gewisse) Reichhaltigkeit und Dauerhaftigkeit gekennzeichnet ist und
– die Nutzer sich beteiligen und Inhalte beitragen können. Die interkulturellen Begegnungsplattformen zielen somit sowohl auf Informationsvermittlung als auch auf interkulturelle Sensibilisierung und interkulturellen Austausch. Im Rahmen der Evaluationsstudie sollte untersucht werden, ob die mit den Länderportalen angestrebten Ziele und die vorgesehen Zielgruppen erreicht werden. Zudem sollte die Effektivität der Länderportale hinsichtlich der Informationsvermittlung und des interkulturellen Austauschs analysiert werden. Aus den dabei gewonnenen Erkenntnissen war des Weiteren die Ableitung von konkreten Schlussfolgerungen und Empfehlungen zur Weiterentwicklung des Konzepts bzw. der Länderportale vorgesehen. Zur Datengewinnung folgte das CEval einem „mixed-methods“-Ansatz. Dabei wurde eine vertiefende Analyse bereits vorhandener Dokumente und Daten aus einer Online-Befragung des GI vorgenommen. Zudem wurden eigene Erhebungen (qualitative Leitfadeninterviews) durchgeführt.
Begleitende Evaluation des Karriereförderprogramms „Talente sichern & Zukunft gestalten“ (2013-2014)
Das Programm „Talente sichern & Zukunft gestalten“ des Cusanuswerks & Bischöfliche Studienförderung hat eine Förderung des weiblichen Führungsnachwuchses zum Ziel. Hierzu setzt das Programm auf Mentoringelemente & also eine tutorielle Betreuung von Stipendiatinnen deutscher Begabtenförderungswerke durch berufserfahrene Akademikerinnen und Akademiker & auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks.
Seit Beginn des Karriereförderprogramms im Jahr 2007 führt das Centrum für Evaluation (CEval) zur Qualitätssicherung prozessbegleitende, externe Evaluationen durch. Auch im vierten Programmdurchlauf 2013-2014 fand eine begleitende Evaluation statt. Zentrale Aufgabe dieser Evaluation war es, den durchführungsverantwortlichen Mitarbeiterinnen und Mitarbeitern des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse waren entsprechend der Zielsetzungen des Programms hierbei Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen, zur Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten.
Das bestehende und bewährte Evaluationskonzept wurde im Rahmen der Evaluation inhaltlich durch eine Anwendung des CIPP-Modells geschärft, wobei jedoch eine Vergleichbarkeit von Evaluationsergebnissen seit Beginn des Karriereförderprogramms sichergestellt wurde. Methodisch umfasste die Evaluation standardisierte Online-Befragungen der Mentees und Mentorinnen und Mentoren zu drei Zeitpunkten. Dieses Vorgehen ermöglichte eine frühzeitige Identifikation eventueller Probleme und eine zeitnahe Entwicklung geeigneter Maßnahmen, um diesen entgegenzuwirken.
Durchführung einer Mitgliederbefragung von IMMOEBS e.V.
IMMOEBS e.V. ist der Verein der Ehemaligen und Förderer der Post-Graduate- und Masterstudiengänge zur Immobilienökonomie an der European Business School und der Universität Regensburg. IMMOEBS wurde 1991 gegründet und hat derzeit ca. 2.600 Mitglieder; es ist damit das größte Alumni-Netzwerk der Immobilienwirtschaft in Deutschland.
IMMOEBS hatte das CEval mit einer Mitgliederbefragung beauftragt. Übergeordnetes Ziel der als Online-Erhebung angelegten Befragung war es, die Bewertung von IMMOEBS und seinen Aktivitäten durch die Mitglieder zu erfassen und Entwicklungspotenziale und eventuelle Anpassungsbedarfe zu identifizieren.
East4South – Development Awareness from the Roots
Gegenstand der Evaluation war das von der EU finanzierte Projekt der Deutschen Welle-Akademie (DWA) „East4South – Development Awareness from the Roots“. Das Projekt zielte darauf ab, Nachwuchsjournalisten aus den osteuropäischen EU12-Staaten dabei zu unterstützen, qualitativ hochwertige Reportagen über entwicklungspolitische Themen in den Medien ihrer Heimatländer zu veröffentlichen. Langfristig ist mit dem Projekt beabsichtigt, EU12-Bürger für entwicklungspolitische Themen zu sensibilisieren und in den EU12-Ländern eine positive Einstellung gegenüber der EU-Entwicklungspolitik zu erzeugen. Im Rahmen dieses Vorhabens wurden insgesamt 60 Nachwuchsjournalisten aus Osteuropa und Afrika in interkulturellem Journalismus weitergebildet und miteinander vernetzt. Bei einem Aufenthalt in Afrika produzierten afrikanische und osteuropäische Journalisten anschließend gemeinsam journalistische Beiträge über entwicklungspolitische Themen, mit dem Ziel diese in den Medien der EU12 Ländern zu veröffentlichen.
Ziel der summativen ex-post Evaluation war die Analyse und Bewertung der Wirkungen der Projektmaßnahmen und der Qualität der Projektdurchführung. Hierzu verwendete die CEval GmbH einen Multimethodenansatz mit u.a. qualitativen Leifadeninterviews mit Stakeholdern, einer Analyse von Projektdokumenten, Sekundäranalysen von Evaluationsfragebögen und Kurzberichten der Teilnehmer sowie einer standardisierten Online-Befragung aller Teilnehmer.Talking about migrants‘ lives in Russia
Gegenstand der Evaluation war das von der Deutschen Welle-Akademie und der russischen Foundation for Independent Radio Broadcasting durchgeführte EU-Projekt „Talking about migrants lives in Russia“. Ziel des Projekts war es, die Inklusion von Migranten in der russischen Gesellschaft zu fördern. Zur Erreichung dieses Zieles wurden russische Radiojournalisten und Vertreter zivilgesellschaftlicher Organisationen (VZOs) aus dem Bereich Migration in Workshops fortgebildet und auf lokaler Ebene miteinander vernetzt. Durch diese Workshops sollte zum einen die Professionalität der Radiojournalisten und zum anderen die Medienkompetenz der VZOs erhöht werden. Mithilfe von Podiumsdiskussionen, einer Internetplattform und eines journalistischen Wettbewerbs wurde zudem angestrebt, die Kooperation zwischen Radiojournalisten und VZOs dauerhaft zu intensivieren. Mittelfristig wurde mit all diesen Maßnahmen beabsichtigt, die Quantität und Qualität journalistischer Beiträge zu migrationsrelevanten Themen zu erhöhen.
Der Fokus der summativen ex-post-Evaluation lag auf der Analyse und Bewertung der kurz- und mittelfristigen Wirkungen der Workshops. Zu diesem Zweck wurde zudem näher untersucht, in welcher Weise die Projektdurchführung, die Internetplattform und die Podiumsdiskussionen die beabsichtigten Wirkungen beeinflusst haben.
Im Rahmen der Datenauswertung und Evaluation verwendete die CEval GmbH einen Multimethodenansatz mit u.a. einer Analyse von Projektdokumenten, Sekundäranalysen von Evaluationsfragebögen der Teilnehmer und qualitativen Leitfadeninterviews. Zudem wurden eine standardisierte russischsprachige Online-Befragung aller Teilnehmer sowie eine russischsprachige Emailbefragung mit dem russischen Projektmanager durchgeführt.Wirkungsevaluation der internen Weiterbildungsmaßnahmen der Aktien-Gesellschaft der Dillinger Hüttenwerke
Ein zentrales Anliegen der Dillinger Hütte ist es, ihre Mitarbeiter und Mitarbeiterinnen dazu zu befähigen, mit dem fortwährenden technischen und wirtschaftlichen Wandel in der Gesellschaft Schritt zu halten. Gemäß dem Grundsatz „Weiterbildung ist ein unverzichtbares Element für die eigene und die Zukunft des Unternehmens“ bietet die Dillinger Hütte für ihre Mitarbeiterinnen und Mitarbeiter ein umfassendes Weiterbildungsprogramm an. Dieses zielt darauf ab sowohl fachliche als auch soziale Kompetenzen zu stärken.
Die Dillinger Hütte ist bestrebt qualitative hochwertige Weiterbildungen anzubieten und sich in diesem Zusammenhang kontinuierliche weiterzuentwickeln. Aufgrund dessen führte das Centrum für Evaluation ein umfassendes Evaluationsprojekt durch. Dieses besteht aus zwei Teilprojekten:
1. Einer Wirkungsevaluation der internen Weiterbildungsmaßnahmen
2. Die Entwicklung und Implementierung eines M&E-Systems
Ziel des ersten Teilprojekts war es, strategisch relevante, interne Weiterbildungen bezüglich ihrer Wirkung und Nachhaltigkeit zu beurteilen, um dadurch den Lernprozess und die kontinuierliche Verbesserung des Programms voranzutreiben.
Methodisch umfasste diese Evaluation eine Dokumenten-und Sekundäranalyse sowie explorative Interviews zur Entwicklung von Wirkungsindikatoren. Anhand leitfadengestützter Interviews mit Vorgesetzten der Teilnehmenden sowie einer Online-Erhebung wurden Wirkung und Nachhaltigkeit der Weiterbildungen erfasst.
Entwicklung und Implementierung eines M&E-Systems für die Weiterbildungsaktivitäten der Aktien-Gesellschaft der Dillinger Hüttenwerke
Ein zentrales Anliegen der Dillinger Hütte ist es, ihre Mitarbeiter und Mitarbeiterinnen dazu zu befähigen, mit dem fortwährenden technischen und wirtschaftlichen Wandel in der Gesellschaft Schritt zu halten. Gemäß dem Grundsatz „Weiterbildung ist ein unverzichtbares Element für die eigene und die Zukunft des Unternehmens“ bietet die Dillinger Hütte für ihre Mitarbeiterinnen und Mitarbeiter ein umfassendes Weiterbildungsprogramm an. Dieses zielt darauf ab sowohl fachliche als auch soziale Kompetenzen zu stärken.
Die Dillinger Hütte ist bestrebt qualitative hochwertige Weiterbildungen anzubieten und sich in diesem Zusammenhang kontinuierliche weiterzuentwickeln. Aufgrund dessen führte das Centrum für Evaluation ein umfassendes Evaluationsprojekt durch. Dieses besteht aus zwei Teilprojekten:
1. Einer Wirkungsevaluation der internen Weiterbildungsmaßnahmen
2. Die Entwicklung und Implementierung eines M&E-Systems
Ziel des zweiten Teilprojekts war es, ein kontinuierliches Monitoring- und Evaluationssystem (M&E) für interne und externe Weiterbildungen zu entwickeln und zu implementieren, welches die Dillinger Hütte dazu in die Lage versetzt, selbst regelmäßige M+E-Aktivitäten durchzuführen, die erhobenen Daten zu analysieren und zu verwerten.
In diesem Zusammenhang wurden gemeinsam mit der Dillinger Hütte geeignete Erhebungsinstrumente entwickelt und ein Instrument zur technischen Umsetzung von Befragungen eingeführt. Darüber hinaus wurden Schulungen sowohl zur Handhabung des Instruments als auch zur Datenauswertung und -interpretation durchgeführt.
Datenauswertung und Evaluation der Aktivitäten der DW-AKADEMIE in Ruanda
Für die Deutsche Welle evaluierte das Centrum für Evaluation das von der Deutsche Welle-AKADEMIE in Ruanda durchgeführte Training „Reporting for Democracy“. Das von Deutsche Welle-AKADEMIE und der School of Journalism and Communication an der National University of Rwanda gemeinsam organisierte Training umfasste im Zeitraum von Juni 2010 bis April 2011 zehn verschiedene Module zum Thema „Wahlberichterstattung“. Journalisten aus allen Bereichen (Print, Online, Radio, TV) waren Zielgruppe der Veranstaltungen.
Im Rahmen der Datenauswertung und Evaluation wurden die quantitativen und qualitativen Daten der Seminarbeurteilungen der Module ausgewertet. Weiterhin wurden telefonische Kurzinterviews mit sechs bis acht Trainern geführt. Mit Unterstützung der Deutschen Welle-AKADEMIE wurden schließlich alle Teilnehmer in einer Abschlusssitzung einige Monate nach dem letzten Trainingsmodul mittels eines standardisierten Fragebogens um eine Bewertung des langfristigen Nutzens des Trainings gebeten. Ziel der Evaluation war über die deskriptive, summative Auswertung der Rückmeldungen hinaus die Ableitung von Empfehlungen zur Durchführung derartiger Trainings.