Entwicklung und Implementierung eines M&E-Systems für die Weiterbildungsaktivitäten der Aktien-Gesellschaft der Dillinger Hüttenwerke
Ein zentrales Anliegen der Dillinger Hütte ist es, ihre Mitarbeiter und Mitarbeiterinnen dazu zu befähigen, mit dem fortwährenden technischen und wirtschaftlichen Wandel in der Gesellschaft Schritt zu halten. Gemäß dem Grundsatz „Weiterbildung ist ein unverzichtbares Element für die eigene und die Zukunft des Unternehmens“ bietet die Dillinger Hütte für ihre Mitarbeiterinnen und Mitarbeiter ein umfassendes Weiterbildungsprogramm an. Dieses zielt darauf ab sowohl fachliche als auch soziale Kompetenzen zu stärken.
Die Dillinger Hütte ist bestrebt qualitative hochwertige Weiterbildungen anzubieten und sich in diesem Zusammenhang kontinuierliche weiterzuentwickeln. Aufgrund dessen führte das Centrum für Evaluation ein umfassendes Evaluationsprojekt durch. Dieses besteht aus zwei Teilprojekten:
1. Einer Wirkungsevaluation der internen Weiterbildungsmaßnahmen
2. Die Entwicklung und Implementierung eines M&E-Systems
Ziel des zweiten Teilprojekts war es, ein kontinuierliches Monitoring- und Evaluationssystem (M&E) für interne und externe Weiterbildungen zu entwickeln und zu implementieren, welches die Dillinger Hütte dazu in die Lage versetzt, selbst regelmäßige M+E-Aktivitäten durchzuführen, die erhobenen Daten zu analysieren und zu verwerten.
In diesem Zusammenhang wurden gemeinsam mit der Dillinger Hütte geeignete Erhebungsinstrumente entwickelt und ein Instrument zur technischen Umsetzung von Befragungen eingeführt. Darüber hinaus wurden Schulungen sowohl zur Handhabung des Instruments als auch zur Datenauswertung und -interpretation durchgeführt.
Datenauswertung und Evaluation der Aktivitäten der DW-AKADEMIE in Ruanda
Für die Deutsche Welle evaluierte das Centrum für Evaluation das von der Deutsche Welle-AKADEMIE in Ruanda durchgeführte Training „Reporting for Democracy“. Das von Deutsche Welle-AKADEMIE und der School of Journalism and Communication an der National University of Rwanda gemeinsam organisierte Training umfasste im Zeitraum von Juni 2010 bis April 2011 zehn verschiedene Module zum Thema „Wahlberichterstattung“. Journalisten aus allen Bereichen (Print, Online, Radio, TV) waren Zielgruppe der Veranstaltungen.
Im Rahmen der Datenauswertung und Evaluation wurden die quantitativen und qualitativen Daten der Seminarbeurteilungen der Module ausgewertet. Weiterhin wurden telefonische Kurzinterviews mit sechs bis acht Trainern geführt. Mit Unterstützung der Deutschen Welle-AKADEMIE wurden schließlich alle Teilnehmer in einer Abschlusssitzung einige Monate nach dem letzten Trainingsmodul mittels eines standardisierten Fragebogens um eine Bewertung des langfristigen Nutzens des Trainings gebeten. Ziel der Evaluation war über die deskriptive, summative Auswertung der Rückmeldungen hinaus die Ableitung von Empfehlungen zur Durchführung derartiger Trainings.
Unterstützung der Evaluationsaktivitäten des Doktorandenkollegs DES
Die Doctoral School in Educational Sciences (DES) bietet qualifiziertem wissenschaftlichem Nachwuchs die Möglichkeit, innerhalb von maximal vier Jahren ein Studium mit einem PhD in Psychologie, Geschichts-, Sozial-, Erziehungs- oder Sprachwissenschaften abzuschließen. Um von den Studierenden Rückmeldungen über diverse Aspekte des Studiums (allgemeine Zufriedenheit, Nutzen und Qualität der Lehrveranstaltungen etc.) zu erhalten, wurden seitens des Centrums für Evaluation zwei Instrumente im Auftrag des Doktorandenkollegs entwickelt.
Dabei handelte es sich zum einen um einen lehrangebotsbezogenen Seminarbeurteilungsbogen, der in den Kursen des Kollegs eingesetzt wurde und Erkenntnisse über die Qualität der Veranstaltungen generieren sollte. Zum anderen wurde ein DES-übergreifendes Evaluationsinstrument entwickelt. Dabei handelte es sich um einen Online-Fragebogen, mit dessen Hilfe allgemeine Aspekte des Doktorandenkollegs eruiert wurden, etwa bezüglich der Erwartungen der Studierenden an das Graduiertenkolleg und ihre Erfahrungen mit dem Kolleg.
Während das CEval bei dem Seminarbeurteilungsbogen lediglich für die Instrumentenentwicklung zuständig war, zeichnete das CEval sich im Rahmen der DES-übergreifenden Befragung für den gesamten Befragungsprozess (von der Instrumentenentwicklung über die Durchführung bis hin zur Auswertung der Befragung) verantwortlich.
Saarländische Studierende als ökonomischer Standortfaktor
Hochschulen sind aus mehreren Gründen wichtige ökonomische Faktoren für die Region, in welcher sie angesiedelt sind, und stellen dort einen wesentlichen Standortfaktor dar. Dies gilt zum einen unmittelbar durch das wirtschaftliche Potential der beschäftigten Mitarbeiter:innen und Studierenden, die in Form privaten Konsums Nachfrageeffekte vorrangig in der Region erzeugen und zum anderen durch Infrastrukturinvestitionen (z.B. Baumaßnahmen) der Hochschulen sowie die bevorzugte Ansiedlung von Unternehmen aus know-how-intensiven Branchen.
Neben diesen unmittelbaren, direkten und indirekten sozioökonomischen Effekten erbringen jedoch Hochschulen mittel- und langfristig einen Nutzen, der für die regionale Wirtschafts und Kulturentwicklung insbesondere unter den Bedingungen des demographischen Wandels von zentraler Bedeutung ist. Hochschulen ziehen als attraktive Bildungsstätten junge, begabte Personen aus anderen Regionen an, die zum Teil nach ihrem Studium langfristig dem lokalen saarländischen Arbeitsmarkt als hochqualifizierte Fachkräfte zur Verfügung stehen („Pull-Effekte“).
Den „Pull-Effekten“ stehen jedoch auch „Push-Effekte“ entgegen, welche aus Sicht der Region die Rendite der geleisteten Ausbildungsinvestitionen verringern, ja mittelfristig sogar abhängig vom Ausmaß zu einer negativen Bilanz führen können. Wenn in einer Region keine adäquaten Beschäftigungsmöglichkeiten für die Ausbildungsleistungen der Hochschule vorhanden sind oder das Lohnniveau deutlich unterdurchschnittlich liegt, kann es trotz hoher Exzellenz von Forschung und Lehre zu Abwanderungstendenzen hochqualifizierter Absolvent:innen kommen.
Neben Experteninterviews, die mit Studierenden, Vertretern aus der Politik und Personalverantwortlichen aus Unternehmen geführt wurden, war das Ziel der quantitativen Studierendenbefragung eine umfassende Erfassung der Faktoren, die zur ökonomischen Bewertung der Studierenden notwendig war.
Hochschulkooperation mit der Universität von Costa Rica (UCR) (2012-2015)
Nach einer erfolgreichen dreijährigen Zusammenarbeit zwischen dem Centrum für Evaluation (CEval) der Universität des Saarlandes und der Universität von Costa Rica (UCR) zur Weiterentwicklung des seit 1995 an der UCR implementierten Masterstudiengangs in Evaluation von Projekten und Programmen zur sozialen Entwicklung (MEPPD), planten die beiden Universitäten ab 2011 die Intensivierung und Vertiefung ihrer Kooperation. Der DAAD, der durch sein Beraterprogramm seit 2008 bereits die vorangegangene Zusammenarbeit der beiden Hochschulen finanziell unterstützt hatte, begrüßte dieses Vorhaben. Aus diesem Grund förderte er von 2012 bis 2015 über sein Programm „Fachbezogene Partnerschaften mit Hochschulen in Entwicklungsländern“ auch die zweite Phase der Kooperation zwischen UCR und UdS.
Gemäß der Zielsetzung des DAAD-Programms, durch den akademischen Austausch eine Verbesserung der Lehrsituation zu erreichen und einen Beitrag zum Aufbau von nachhaltigen Strukturen im Bereich der Lehre im Partnerland zu leisten, bildete der Austausch von Studierenden, Promovierenden und Dozierenden einen Schwerpunkt der vierjährigen Kooperation. Weiterhin standen die Öffnung des MEPPD für den zentralamerikanischen Raum (Regionalisierung), die Anpassung der Lehre im Masterstudiengang Evaluation der UCR an die regionale Nachfrage und die daraus abgeleiteten Ausbildungsbedürfnisse (Profilierung) sowie die Einbindung der Hochschulkooperation in bestehende internationale Netzwerke (Internationalisierung) im Mittelpunkt der engeren Zusammenarbeit. Durch die vierjährige Zusammenarbeit konnte die Praxis- und Bedarfsorientierung des MEPPD gestärkt, bestehende regionale und internationale fachliche Netzwerke etabliert bzw. erweitert sowie die Kapazitäten in Lehre und Forschung ausgebaut werden.
Eine Fortsetzung der Kooperation unter Aufnahme einer weiteren Hochschule aus dem lateinamerikanischen Raum ist für 2017 vorgesehen.
Evaluation des Mentoring-Programms 2010 des „MentorinnenNetzwerks für Frauen in Naturwissenschaft und Technik“
Als Basis für eine fortlaufende Qualitätssicherung und -entwicklung der Angebote des „MentorinnenNetzwerks für Frauen in Naturwissenschaft und Technik“ erhielt das CEval den Auftrag, in Zusammenarbeit mit dem Hessischen Koordinierungsbüro ein Monitoring- und Evaluationssystem (M+E-System) für die Aktivitäten und Angebote des Netzwerks zu entwickeln und zu implementieren. Hierzu wurden im Jahr 2011 zwei Instrumente entwickelt, mittels derer die Teilnehmerinnen der jährlichen Mentoring-Programme (Mentorinnen und Mentees) künftig regelmäßig, in standardisierter Form zu relevanten Aspekten befragt werden. Die Auswertung und Analyse der erhobenen Daten dient sowohl der kontinuierlichen Prüfung und ggf. Optimierung der verschiedenen Aktivitäten als auch der jährlichen Rechenschaftslegung gegenüber den Mittelgebern.
Während diese M+E-Aktivitäten ab dem Jahr 2012 von den Mitarbeiterinnen des Hessischen Koordinierungsbüros in Eigenregie durch- bzw. fortgeführt werden, wurde 2011 (noch) das CEval mit der in einen Evaluationsbericht mündenden Auswertung der zum Mentoring-Programm 2010 erhobenen Daten beauftragt.
Grenzüberschreitende Koordination und Kooperation in interregionalen Organisationen am Beispiel Interregionaler Gewerkschaftsräte
Dieses Forschungsprojekt widmete sich der grenzüberschreitenden Zusammenarbeit von Gewerkschaften auf regionaler Ebene, indem es die historische Entwicklung sowie die Funktionsweisen und Problemlösungspotenziale des IGR Saar-Lor-Lux-Trier/Westpfalz vertiefend untersuchte und mit drei weiteren Interregionalen Gewerkschaftsräten verglich. Auf einem institutionalistischen Ansatz aufbauend, wurde in dem Forschungsprojekt ein theoretischer Rahmen entwickelt, der drei Faktorenbündel identifiziert, um vor dem Hintergrund der Entstehung, Entwicklung und Funktionsweise das Problemlösungspotenzial Interregionaler Gewerkschaftsräte zu erfassen: Die strukturelle Einbettung eines IGRs in unterschiedliche nationale Arbeitsmärkte und Wohlfahrtsregime, die Arbeitsbeziehungen und Gewerkschaftsstrukturen in den einzelnen Regionen sowie die interkulturelle Kommunikation und unterschiedliche Gewerkschaftskulturen zwischen den Gewerkschaften, die zusammen einen IGR bilden.
Evaluation des „Programms zur Förderung der Integration ausländischer Studierender“ (PROFIN)
Gegenstand der Evaluation war das BMBF-geförderte Programm zur Förderung der Integration ausländischer Studierender (PROFIN), das vom Deutschen Akademischen Austauschdienst (DAAD) in einer vierjährigen Förderlaufzeit von 2009 bis 2012 durchgeführt wurde. Der DAAD zielte mit PROFIN auf eine verbesserte Integration ausländischer Studierender in Hochschule und Gesellschaft durch Projekte an Hochschulen zur allgemeinen, fachlichen und sozialen Integration ab. Durch das Programm sollte auch ein Paradigmenwechsel im Verhältnis der deutschen Hochschule zu ihren ausländischen Studierenden erreicht werden: von der Betreuung zur Integration.
Im Rahmen der Evaluationsstudie wurde untersucht, ob die angestrebten Ziele des Programms erreicht wurden und welche Maßnahmen und Projekte sich als besonders erfolgreich und wirksam erwiesen haben. Zur Datengewinnung folgte das CEval einem „mixed-methods“ Ansatz. Dabei wurde eine vertiefende Analyse bereits vorhandener Dokumente vorgenommen und es wurden eigene Erhebungen (qualitative Leitfadeninterviews und standardisierte Onlinebefragungen) durchgeführt.Evaluation der Arbeit der Deutschen UNESCO-Kommission
Die UNESCO fordert von ihren Mitgliedsstaaten die Einrichtung nationaler Kommissionen, die zu einer effektiveren Ausgestaltung der Mitgliedschaft beitragen sollen. Dementsprechend hat die Bundesrepublik Deutschland die Deutsche UNESCO-Kommission e.V. (DUK) eingerichtet. Neben Beratungsaufgaben von Regierung und Parlament bearbeitet die DUK gemäß ihrer Satzung weitere Aufgaben wie bspw. die Mitwirkung an der Ausgestaltung der Mitgliedschaft Deutschlands in der UNESCO, die Förderung internationaler Verständigung, die Leistung eines Beitrags zur friedenssichernden Arbeit der UNESCO oder das Unterrichten der Öffentlichkeit über die Zwecke und die Arbeit der DUK.
Das Centrum für Evaluation (CEval) wurde mit der Evaluation der Arbeit der DUK beauftragt und bearbeitete dabei unterschiedliche Aufgabenstellungen. So wurde eine Bewertung der von der DUK erbrachten Beratungsleistungen für die Bundesregierung und das Parlament vorgenommen. Zudem wurden die Ziel- und Steuerungssysteme der DUK analysiert sowie die Arbeitsabläufe innerhalb der DUK einer Prozessanalyse unterzogen. Schließlich wurden unterschiedliche Programmbereiche wie die „Kontaktstelle kulturelle Vielfalt“, das Kooperationsprojekt mit afrikanischen Nationalkommissionen und die Aktivitäten der DUK im Zusammenhang mit den „UNESCO-Biosphärenreservaten“ evaluiert. Die Ziele der Evaluation leiteten sich aus ihren Aufgabenstellungen ab und bestanden unter anderem in der Entwicklung erkenntnisbasierter Empfehlungen zur Optimierung des Beitrags der DUK im Hinblick auf das Ziel der Bundesregierung, die Rolle Deutschlands in der UNESCO zu stärken und zur Optimierung der Zielerreichung der DUK. Zudem sollte die Evaluation zur Optimierung der Arbeitsabläufe hinsichtlich Wirtschaftlichkeit, Prozess- und Produktqualität, Wirksamkeit und Relevanz sowie zur Optimierung der Instrumente zur Erfolgsmessung, u.a. im Hinblick auf die Notwendigkeit der Rechenschaftslegung gegenüber dem Auswärtigen Amt, beitragen. Die Herangehensweise des CEval ist grundsätzlich theoriegeleitet. Mit Blick auf die Validität der Forschungsergebnisse waren für die Evaluationskonzeption sowohl theoretische Modelle als auch methodische Grundannahmen bedeutsam. Auf der theoretischen Ebene war im Hinblick auf den Evaluationsgegenstand vor allem das organisationstheoretische Wirkungsmodell von besonderem Interesse. Aus methodischer Sicht kamen ein Multimethodenansatz sowie der partizipative Evaluationsansatz des CEval zur Anwendung.MRE Netzwerk Hessen-Saarland: Schnittstellen in der Versorgung und ihre Überwindung durch Analyse, Wirkungsevaluation, und Einsatz neuer Lehr/Lerntechniken
Der Prävention vermeidbarer Infektionen im Gesundheitssystem kommt mit zunehmender Erkenntnis über die Bedingungen ihrer Entstehung und Ausbreitung ein legitimer und wachsender öffentlicher Anspruch zu. Mit dem Projekt wurde das Ziel verfolgt, durch ein über verschiedene Strukturen und Institutionen des Gesundheitssystems ausgerolltes Maßnahmen-Spektrum, unter Anwendung unterschiedlicher Methoden aus Infektionsmedizin, Lehr/Lerntheorie, differentieller Psychologie und Sozialwissenschaften, ein umfassendes Modell der integrativen, Sektor übergreifenden Intervention zur Prävention bakterieller Resistenzen und nosokomialer Infektionen in etablierten Regionalnetzwerken zu entwickeln. Diese für Deutschland neue, integrative Form der Versorgungsforschung sollte durch innovative Ansätze zur Infektions- und Resistenzprävention neue Erkenntnisse für deren Umsetzung im Rahmen allgemein anwendbarer Empfehlungen und Richtlinien liefern.
Das übergreifende Ziel des Projekts bestand darin, etablierte Verfahren und Maßnahmen zur Antibiotikakontrolle sowie zur Vermeidung von nosokomialen Infektionen in den bestehenden Netzwerken MRSAar/netz und MRE Rhein-Hessen weiterzuentwickeln und schwerpunktmäßig im nicht-akutstationären Bereich auszurollen.
Im interdisziplinären Forschungsprojekt unterstützte das CEval die Evaluation unterschiedlicher Informations- und Aufklärungsinterventionen durch sozialempirische Erhebungen und Analysen. Neben qualitativen Verfahren der Datenerhebung und -auswertung wurde für die Wirkungsanalyse auf quasi-experimentelle Untersuchungsanordnungen und entsprechende statistische Auswertungstechniken zurückgegriffen. Auf Grundlage der Synthese der infektionsepidemiologischen, biometrischen, sozialempirischen und differentialpsychologischen Befunde sollten Erkenntnisse mit Bedeutung für die praktische Umsetzung (z.B. in Richtlinien oder Empfehlungen zur Infektionsprävention und Antibiotikaversorgung) gewonnen werden.
