Evaluation des Projekts „Media in Libya: Stability through reconciliation“
Evaluationsgegenstand war das Projekt „Media in Libya: Stability through reconciliation“ (MLSR) der DW Akademie. MLSR war ein Nachfolgeprojekt von „Media in Libya: Stability through Structure“. Das übergeordnete Ziel von MLSR lautete:“Enabling a process of public discourse and eventually reconciliation across a fragmented Libyan society & prerequisites for development of democratic reform and constitutional process in the country.“ by „promoting [the] right to access to information to the people of Libya and [the] freedom of expression in Libya“. Zum Erreichen dieser Zielsetzung setzte die DW Akademie auf vier Aktivitäten-Cluster: (1) Unterstützung (öffentlicher) Institutionen in Libyen im Bereich „media governance“, (2) Entwicklung eines Mediennetzwerks in Libyen, (3) Training freier Journalisten aus allen Regionen Libyens mit einem besonderen Fokus auf ethnische Minderheiten und Geschlechterfragen, (4) Bereitstellung von Fördermöglichkeiten für Libysche Medienprojekte.
Die Evaluation von MLSR war als Wirkungsevaluation angelegt. Es ist daher erforderlich, Daten zum Zeitpunkt des Maßnahmenbeginns (Baseline) zu erheben, eine Zwischenevaluation erfolgte in der ersten Jahreshälfte 2019. Durch Vergleich der Befunde aus Baselinestudie und Zwischenevaluation konnten erste Effekte von MLSR identifiziert und bewertet werden. Darüber hinaus konnten erste Empfehlungen zur Projektoptimierung (z. B. Identifikation [weniger] erfolgreicher Projektstrategien, alternative Vorgehensweisen) gegeben werden. Die dritte Evaluationsphase (Schlussevaluation) startete zum Projektende. Hauptziel der Schlussevaluation war die Bewertung der Zielerreichung von MLSR. Durch die drei Erhebungszeitpunkte konnte eine längsschnittliche Analyse der Mechanismen, Prozesse und Effekte von MLSR realisiert werden.
Methodisch wurde vor dem Hintergrund der sehr volatilen und schwierigen Rahmenbedingungen in Libyen ein robuster Mixed-Method-Ansatz verfolgt: Sekundäranalyse vorhandener Dokumente/Daten, Inhaltsanalyse kurzer schriftlicher und tiefgehender mündlicher Befragungen sowie statistische Analyse quantitativer Daten aus einer standardisierten Fragebogenerhebung.
Durchführung einer Evaluation des Internationalen Klimaschutzstipendien-Programms
Im Jahr 2009 hat die Alexander von Humboldt-Stiftung (AvH) das Internationale Klimaschutz-Programm (IKS) zur Förderung begabter Nachwuchsführungskräfte aus außereuropäischen Schwellen- und Entwicklungsländern initiiert. Zwischen 2010 und 2015 wurden 100 Stipendiat:innen aus dem wissenschaftlichen und nicht-wissenschaftlichen Bereich gefördert.
Zielgruppen des IKS sind Nachwuchswissenschaftler:innen und akademisch ausgebildete Nachwuchsführungskräfte aus Industrie und Politik aus Entwicklungs- und Schwellenländern. Diese Zielgruppen sind nämlich beteiligt an Gestaltung/Umsetzung von (1) Klimaschutzmaßnahmen, (2) Maßnahmen des klimarelevanten Ressourcenschutzes und (3) Maßnahmen zur Anpassung an den Klimawandel in Entwicklungs- und Schwellenländern. Ziel des IKS ist die langfristige individuelle Begleitung der ausgewählten Stipendiat:innen: (1) Zwölfmonatiges Stipendium zur Durchführung eines selbstgewählten forschungsnahen Projekts bei einem:r selbstausgewählten Gastgeber:in in Deutschland. (2) Alumni-Förderung (u.a. Finanzierung weiterer Deutschlandaufenthalte, Einladung Gastgeber_innen an Heimatinstitutionen, Einbindung in AvH-Netzwerk).
Die Evaluation des IKS prüfte, inwiefern die Wirkungen des Programms einen Beitrag leisten zu (1) Klimaschutz und klimarelevantem Ressourcenschutz und (2) Anpassung an den Klimawandel in Entwicklungs- und Schwellenländern. Im Mittelpunkt stehen die Analyse der Zielerreichung auf Ebene der Programmziele sowie die Analyse bereits überprüfbarer Programmwirkungen.
Die Evaluation des IKS orientierte sich an den DAC-Kriterien. Sie zeichnete sich durch einen partizipativen sowie Multimethoden-Ansatz aus. So wurden im Rahmen der Evaluation Dokumenten- und Sekundäranalysen kombiniert mit qualitativen (leitfadengestützte Intensivinterviews, Fallstudien) sowie quantitativen Verfahren (teilstandardisierte Online-Erhebungen).
Studie „Gute Arbeit im Vollzug & eine Studie zu Arbeitsbedingungen und Gesundheit im saarländischen Justizvollzug“
Im Jahr 2011 war der Justizvollzug im Saarland einer Strukturreform unterzogen worden, die unter anderem mit einer Schließung von Teilanstalten einhergegangen war. Vor dem Hintergrund der seitherigen Veränderungen war es Aufgabe der Studie, die Auswirkungen auf Arbeitsbedingungen, Arbeitsmotivation und Gesundheit der Beschäftigten des saarländischen Justizvollzugs zu analysieren. Auf Basis der Untersuchungsergebnisse sollten Empfehlungen zur Optimierung der Veränderungsprozesse abgeleitet und geeignete Maßnahmen für ein nachhaltiges anstaltsspezifisches Arbeits- und Gesundheitsmanagement aufgezeigt werden.
Die Datengewinnung basierte auf einem „mixed-methods“-Ansatz, d.h. es erfolgte eine vertiefende Analyse bereits vorhandener Dokumente und Daten und es wurden Daten im Rahmen von qualitativen Befragungen (Leitfadeninterviews und Fokusgruppen) und einer quantitativen Befragung der Mitarbeiter:innen des saarländischen Justizvollzugs erhoben und ausgewertet.
Evaluation des Mitarbeitergesprächs 2014 der Saarstahl AG
Im Jahr 2013 führte die Saarstahl AG auf Wunsch der Führungskräfte systematische Mitarbeitergespräche (MAG) als Instrument der Mitarbeiterführung ein. Dieses partnerschaftliche, anlassunabhängige Vieraugengespräch wird nun jährlich zwischen Mitarbeitern mit Führungsverantwortung und deren Vorgesetzten durchgeführt, um eine verbesserte Ausrichtung auf die Ziele des Unternehmens und die Unternehmenskultur zu erreichen und eine Förderung der Mitarbeiter und Verbesserung der Zusammenarbeit innerhalb des Unternehmens zu realisieren.
Die Aufgabe der Evaluation des MAG 2014 war es zu prüfen, ob das MAG auch im zweiten Jahr erfolgreich von MitarbeiterInnen wie Führungskräften aufgenommen wird und ob erste Trends in der Akzeptanz und Umsetzung des MAG identifiziert werden können.
Ein besonderer Fokus lag dabei auf der Vorbereitung der Mitarbeiter auf das Gespräch (Schulungen, Materialien), die Umsetzung und Kommunikation von Zielvereinbarungen sowie Förder- und Entwicklungsmaßnahmen und der generellen Handhabbarkeit des Instruments hinsichtlich Inhalt und Struktur.
Darüber hinaus galt es zu bewerten, inwieweit das MAG als sinnvolles Instrument der Mitarbeiterführung angesehen wird und ob dadurch eine Verbesserung der Führungskultur im Unternehmen Saarstahl erreicht werden konnte. Ziel war es, das MAG in seiner gegenwärtigen Form zu bewerten und ggf. Optimierungspotenziale zu identifizieren.
Hierzu wurde von der CEval GmbH in Abstimmung mit der Saarstahl AG eine standardisierte Online-Befragung der MitarbeiterInnen des Unternehmens über verschiedene Hierarchieebenen hinweg konzipiert und durchgeführt. Die im Rahmen der Evaluation erhobenen quantitativen Daten wurden dann im Rahmen der Berichtslegung unter Einbezug der Daten der MAG-Evaluation 2013 in einer Längsschnittanalyse ausgewertet.
Begleitende Evaluation des Projektes „Media in Libya & Stability through Structure“
Das Projekt „Media in Libya – Stability through Structure“ hatte das übergeordnete Ziel, die Einführung einer modernen Mediengesetzgebung in Libyen zu unterstützen und die Medieninstitutionen des Landes zu stärken. Darüber hinaus sollte das Projekt zu einer Stärkung von unabhängigem und professionellem Journalismus in den Provinzen Libyens beitragen. Das Projekt hatte eine Gesamtlaufzeit von insgesamt 30 Monaten und wurde von der Europäischen Kommission im Rahmen des SPRING Programms gefördert. Gesteuert und umgesetzt wurde das Projekt von der Deutsche Welle-Akademie (Abteilung Medienentwicklung, Team Afrika) in Kooperation mit dem Institute for War and Peace Reporting (IWPR). Die Maßnahmen des Projekts waren in vier Aktivitätscluster untergliedert, von denen die DW-Akademie drei und das IWPR eines bearbeitete. Das CEval evaluierte in diesem Projekt die Cluster 1 bis 3, für deren Umsetzung die DW-Akademie verantwortlich war.
Die Evaluierung des Projekts unterteilte sich in eine Basis-, eine Zwischen- und eine Abschlussevaluation zum Ende der Implementierungsphase. Zur Datengewinnung folgte das CEval einem „mixed-methods“ Ansatz. Dabei wurde eine vertiefende Analyse bereits vorhandener Dokumente vorgenommen und es wurden eigene Erhebungen (standardisierte Onlinebefragungen der Teilnehmer der Trainings und qualitative Leitfadeninterviews mit externen Experten und Verantwortlichen der DW-Akademie) durchgeführt.
Verbleibstudie: Evaluation der Begabtenförderung der Heinrich-Böll-Stiftung e.V.
Zu den zentralen Aufgaben der Heinrich-Böll-Stiftung (hbs) gehört die Studien- und Promotionsförderung. Seit dem Beginn der Studien- und Promotionsförderung im Jahre 1990 wurden rund 3000 Studierende und Promovierende gefördert. Das Ziel der Nachwuchsförderung ist es, die ausgewählten Persönlichkeiten sowohl materiell wie ideell zu unterstützen und damit einen Beitrag zur Förderung der demokratischen Kultur sowie grüner Ideen und Werte zu leisten.
Das CEval führte zur Evaluation der Langzeitwirkung der Begabtenförderung eine Verbleibstudie aller ehemaligen Stipendiatinnen und Stipendiaten der hbs durch. Die Förderwirkungen der hbs in Studium und Promotion wurden dabei erstmals dokumentiert und fach-, zielgruppen- und diversityspezifisch analysiert. Aufgabe war es, die Langzeitwirkungen der Begabtenförderung zu analysieren und die Befunde mit den Ergebnissen anderer Absolventen- und Verbleibstudien zu vergleichen.
Zur Datengewinnung folgte das CEval einem mixed-methods Ansatz. Dabei wurde eine vertiefende Analyse bereits vorhandener Daten und Dokumente vorgenommen und es wurden eigene Erhebungen in Form einer standardisierten Onlinebefragung der Alumni und qualitativen Leitfadeninterviews mit Alumni und Zuständigen der hbs durchgeführt.
Begleitende Evaluation des Karriereförderprogramms „Talente sichern & Zukunft gestalten“ (2015-2016)
Das Programm „Talente sichern & Zukunft gestalten“ des Cusanuswerks & Bischöfliche Studienförderung zielt auf die Förderung des weiblichen Führungsnachwuchses. Hierzu setzt das Programm auf Mentoringelemente, also eine tutorielle Betreuung von Stipendiat:innen deutscher Begabtenförderungswerke durch berufserfahrene Akademikerinnen und Akademiker, auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks.
Seit Beginn des Karriereförderprogramms im Jahr 2007 führt das Centrum für Evaluation (CEval) zur Qualitätssicherung prozessbegleitende, externe Evaluationen durch. Auch im fünften Programmdurchlauf 2015-2016 fand eine begleitende Evaluation statt. Zentrale Aufgabe dieser Evaluation war es, den durchführungsverantwortlichen Mitarbeiter:innen des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse waren entsprechend der Zielsetzungen des Programms Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen, zur Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten.
Ergänzend dazu wurde eine Verbleibstudie der ersten vier Förderjahrgänge realisiert. Methodisch stützte sich die Evaluation auf standardisierte Online-Befragungen der Mentees und Mentor:innen zu drei Zeitpunkten; zur Datenerhebung im Rahmen der Verbleibsstudie wurden die bislang geförderten Mentees ebenfalls online befragt.
Evaluation des Programms Baden-Württemberg-STIPENDIUM für Studierende & BWS plus
Seit über zehn Jahren vergibt die Baden-Württemberg Stiftung das Baden-Württemberg-STIPENDIUM, durch das jährlich bis zu 1.400 Studierende aus dem In- und Ausland Stipendien für ein Auslandsstudium erhalten. Mit dem Programmteil BWS plus unterstützt die Baden-Württemberg Stiftung seit 2011 innovative Initiativen baden-württembergischer Hochschulen, die den Auf- und Ausbau von neuen Beziehungen zu ausländischen Hochschulen bzw. die nachhaltige Intensivierung bestehender Kontakte zum Ziel haben.
Aufgabe der Evaluation des Programmteils BWS plus war es, das Erreichen der gesetzten Ziele zu überprüfen. Hierbei wurde unterschieden zwischen programmbezogenen (z.B. Ausbau des internationalen Netzwerks, Förderung innovativer Ideen von Studierenden) und strukturellen Zielen (z.B. die Verbesserung der Wahrnehmung des Stipendienprogramms und der Baden-Württemberg Stiftung).
Zur Datengewinnung folgte das CEval einem mixed-methods Ansatz. Dabei wurde eine Sekundäranalyse bereits vorhandener Dokumente vorgenommen und es wurden eigene Erhebungen in Form einer standardisierten Onlinebefragung realisiert. Zudem wurden qualitative Leitfadeninterviews mit Projektbeteiligten durchgeführt.
Barrieren für Hochschulabsolventen am Arbeitsmarkt der Großregion
Die Kooperationsstelle Wissenschaft und Arbeitswelt (KoWA) der Universität des Saarlandes hatte in Zusammenarbeit mit der Arbeitskammer des Saarlandes die Forschungsausschreibung „Arbeitsmarkt für Hochschulabsolventinnen und -absolventen in der Großregion“ vorbereitet. Bezogen auf den Verwertungszusammenhang sollte diese Studie Erkenntnisse zu Fragen der Chancen von Hochschulabsolvent:innen im saarländischen Arbeitsmarkt liefern und dabei die fördernden und hemmenden Rahmenbedingungen für den Eintritt in den saarländischen und grenzüberschreitenden Arbeitsmarkt untersuchen. Aufgrund eigener Forschungsarbeiten war bereits bekannt, dass sich die grenzüberschreitende Berufseinmündung für Hochschulabsolvent:innen trotz einer Reihe von Fachvermittlungsstellen und Studiengängen, die unter Beteiligung mehrerer Hochschulen in der Großregion durchgeführt werden, sehr schwierig darstellt.
Eine umfassende repräsentative Befragung von Absolvent:innen saarländischer Hochschulen zu den Motiven und Hinderungsgründen, die bei der Berufseinmündung für oder gegen ein Suchen auch im benachbarten Ausland sprechen, war bisher noch nicht durchgeführt worden. Insbesondere fehlten außerdem Informationen zum umgekehrten Weg, also zu den Hochschulabsolvent:innen in Lothringen, Luxemburg und der Wallonie, die sich im Saarland um einen Arbeitsplatz bemühten. Hier sollten im Rahmen des Forschungsprojektes die Datenlücken so weit wie möglich geschlossen werden. Dazu sollten zunächst alle Absolvent:innen der Universität des Saarlandes der letzten acht Jahre in Form einer Absolventenstudie befragt werden. Die Absolvent:innen erhielten eine Einladung per E-Mail und auch per Postkarte, welche an die Heimatadresse der Absolvent:innen versendet wurde, zur Teilnahme an einer Online-Befragung. Weitere Absolventenstudien an anderen Universitäten der Großregion waren im Anschluss geplant.
Evaluation der Mitarbeitergespräche 2013 der Saarstahl AG
Im Jahr 2013 führte die Saarstahl AG auf Wunsch der Führungskräfte systematische Mitarbeitergespräche (MAG) als Instrument der Mitarbeiterführung ein. Dieses partnerschaftliche, anlassunabhängige Vieraugengespräch wird nun jährlich zwischen Mitarbeiter:innen mit Führungsverantwortung und deren Vorgesetzten durchgeführt, um eine verbesserte Ausrichtung auf die Ziele des Unternehmens und die Unternehmenskultur zu erreichen und eine Förderung der Mitarbeiter:innen und Verbesserung der Zusammenarbeit innerhalb des Unternehmens zu realisieren.
Die Aufgabe der Evaluation des MAG 2013 war es zu prüfen, ob die Einführung des MAG erfolgreich verlaufen ist. Besonderer Fokus lag dabei auf der Vorbereitung der Mitarbeiter:innen auf das Gespräch (Schulungen, Materialien) sowie auf der Handhabbarkeit des Instruments hinsichtlich Inhalt und Struktur. Darüber hinaus galt es zu bewerten, inwieweit das MAG als sinnvolles Instrument der Mitarbeiterführung angesehen wird und ob dadurch eine Verbesserung der Führungskultur im Unternehmen Saarstahl erreicht werden konnte. Ziel war es, das MAG in seiner gegenwärtigen Form zu bewerten und ggf. Optimierungspotenziale zu identifizieren. Hierzu wurde von der CEval GmbH in Abstimmung mit der Saarstahl AG eine standardisierte Online-Befragung der Mitarbeiter:innen des Unternehmens über verschiedene Hierarchieebenen hinweg konzipiert und durchgeführt. Im Vorfeld dazu wurden leitfadengestützte Interviews unter anderem mit für die Implementierung verantwortlichen Personen sowie mit ausgewählten Mitarbeiter:innenn unterschiedlicher Hierarchieebenen des Unternehmens geführt.