Evaluation der Umsetzung des internetstrategischen Konzepts „Länderportale als interkulturelle Begegnungsplattform“
Gegenstand der Evaluation war die Umsetzung des
internetstrategischen Konzepts des Goethe Instituts (GI) „Länderportale als interkulturelle Begegnungsplattform“. Dieses Konzept ist seit 2011 für das GI handlungsleitend und folgt dem Leitgedanken, dass
– das Erlebnis der Begegnung durch Multimedia und Online-Interaktion bedeutsam ist,
– das Online-Angebot im Sinne einer Plattform durch (eine gewisse) Reichhaltigkeit und Dauerhaftigkeit gekennzeichnet ist und
– die Nutzer sich beteiligen und Inhalte beitragen können. Die interkulturellen Begegnungsplattformen zielen somit sowohl auf Informationsvermittlung als auch auf interkulturelle Sensibilisierung und interkulturellen Austausch. Im Rahmen der Evaluationsstudie sollte untersucht werden, ob die mit den Länderportalen angestrebten Ziele und die vorgesehen Zielgruppen erreicht werden. Zudem sollte die Effektivität der Länderportale hinsichtlich der Informationsvermittlung und des interkulturellen Austauschs analysiert werden. Aus den dabei gewonnenen Erkenntnissen war des Weiteren die Ableitung von konkreten Schlussfolgerungen und Empfehlungen zur Weiterentwicklung des Konzepts bzw. der Länderportale vorgesehen. Zur Datengewinnung folgte das CEval einem „mixed-methods“-Ansatz. Dabei wurde eine vertiefende Analyse bereits vorhandener Dokumente und Daten aus einer Online-Befragung des GI vorgenommen. Zudem wurden eigene Erhebungen (qualitative Leitfadeninterviews) durchgeführt.
Begleitende Evaluation des Karriereförderprogramms „Talente sichern & Zukunft gestalten“ (2013-2014)
Das Programm „Talente sichern & Zukunft gestalten“ des Cusanuswerks & Bischöfliche Studienförderung hat eine Förderung des weiblichen Führungsnachwuchses zum Ziel. Hierzu setzt das Programm auf Mentoringelemente & also eine tutorielle Betreuung von Stipendiatinnen deutscher Begabtenförderungswerke durch berufserfahrene Akademikerinnen und Akademiker & auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks.
Seit Beginn des Karriereförderprogramms im Jahr 2007 führt das Centrum für Evaluation (CEval) zur Qualitätssicherung prozessbegleitende, externe Evaluationen durch. Auch im vierten Programmdurchlauf 2013-2014 fand eine begleitende Evaluation statt. Zentrale Aufgabe dieser Evaluation war es, den durchführungsverantwortlichen Mitarbeiterinnen und Mitarbeitern des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse waren entsprechend der Zielsetzungen des Programms hierbei Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen, zur Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten.
Das bestehende und bewährte Evaluationskonzept wurde im Rahmen der Evaluation inhaltlich durch eine Anwendung des CIPP-Modells geschärft, wobei jedoch eine Vergleichbarkeit von Evaluationsergebnissen seit Beginn des Karriereförderprogramms sichergestellt wurde. Methodisch umfasste die Evaluation standardisierte Online-Befragungen der Mentees und Mentorinnen und Mentoren zu drei Zeitpunkten. Dieses Vorgehen ermöglichte eine frühzeitige Identifikation eventueller Probleme und eine zeitnahe Entwicklung geeigneter Maßnahmen, um diesen entgegenzuwirken.
Durchführung einer Mitgliederbefragung von IMMOEBS e.V.
IMMOEBS e.V. ist der Verein der Ehemaligen und Förderer der Post-Graduate- und Masterstudiengänge zur Immobilienökonomie an der European Business School und der Universität Regensburg. IMMOEBS wurde 1991 gegründet und hat derzeit ca. 2.600 Mitglieder; es ist damit das größte Alumni-Netzwerk der Immobilienwirtschaft in Deutschland.
IMMOEBS hatte das CEval mit einer Mitgliederbefragung beauftragt. Übergeordnetes Ziel der als Online-Erhebung angelegten Befragung war es, die Bewertung von IMMOEBS und seinen Aktivitäten durch die Mitglieder zu erfassen und Entwicklungspotenziale und eventuelle Anpassungsbedarfe zu identifizieren.
East4South – Development Awareness from the Roots
Gegenstand der Evaluation war das von der EU finanzierte Projekt der Deutschen Welle-Akademie (DWA) „East4South – Development Awareness from the Roots“. Das Projekt zielte darauf ab, Nachwuchsjournalisten aus den osteuropäischen EU12-Staaten dabei zu unterstützen, qualitativ hochwertige Reportagen über entwicklungspolitische Themen in den Medien ihrer Heimatländer zu veröffentlichen. Langfristig ist mit dem Projekt beabsichtigt, EU12-Bürger für entwicklungspolitische Themen zu sensibilisieren und in den EU12-Ländern eine positive Einstellung gegenüber der EU-Entwicklungspolitik zu erzeugen. Im Rahmen dieses Vorhabens wurden insgesamt 60 Nachwuchsjournalisten aus Osteuropa und Afrika in interkulturellem Journalismus weitergebildet und miteinander vernetzt. Bei einem Aufenthalt in Afrika produzierten afrikanische und osteuropäische Journalisten anschließend gemeinsam journalistische Beiträge über entwicklungspolitische Themen, mit dem Ziel diese in den Medien der EU12 Ländern zu veröffentlichen.
Ziel der summativen ex-post Evaluation war die Analyse und Bewertung der Wirkungen der Projektmaßnahmen und der Qualität der Projektdurchführung. Hierzu verwendete die CEval GmbH einen Multimethodenansatz mit u.a. qualitativen Leifadeninterviews mit Stakeholdern, einer Analyse von Projektdokumenten, Sekundäranalysen von Evaluationsfragebögen und Kurzberichten der Teilnehmer sowie einer standardisierten Online-Befragung aller Teilnehmer.Talking about migrants‘ lives in Russia
Gegenstand der Evaluation war das von der Deutschen Welle-Akademie und der russischen Foundation for Independent Radio Broadcasting durchgeführte EU-Projekt „Talking about migrants lives in Russia“. Ziel des Projekts war es, die Inklusion von Migranten in der russischen Gesellschaft zu fördern. Zur Erreichung dieses Zieles wurden russische Radiojournalisten und Vertreter zivilgesellschaftlicher Organisationen (VZOs) aus dem Bereich Migration in Workshops fortgebildet und auf lokaler Ebene miteinander vernetzt. Durch diese Workshops sollte zum einen die Professionalität der Radiojournalisten und zum anderen die Medienkompetenz der VZOs erhöht werden. Mithilfe von Podiumsdiskussionen, einer Internetplattform und eines journalistischen Wettbewerbs wurde zudem angestrebt, die Kooperation zwischen Radiojournalisten und VZOs dauerhaft zu intensivieren. Mittelfristig wurde mit all diesen Maßnahmen beabsichtigt, die Quantität und Qualität journalistischer Beiträge zu migrationsrelevanten Themen zu erhöhen.
Der Fokus der summativen ex-post-Evaluation lag auf der Analyse und Bewertung der kurz- und mittelfristigen Wirkungen der Workshops. Zu diesem Zweck wurde zudem näher untersucht, in welcher Weise die Projektdurchführung, die Internetplattform und die Podiumsdiskussionen die beabsichtigten Wirkungen beeinflusst haben.
Im Rahmen der Datenauswertung und Evaluation verwendete die CEval GmbH einen Multimethodenansatz mit u.a. einer Analyse von Projektdokumenten, Sekundäranalysen von Evaluationsfragebögen der Teilnehmer und qualitativen Leitfadeninterviews. Zudem wurden eine standardisierte russischsprachige Online-Befragung aller Teilnehmer sowie eine russischsprachige Emailbefragung mit dem russischen Projektmanager durchgeführt.Wirkungsevaluation der internen Weiterbildungsmaßnahmen der Aktien-Gesellschaft der Dillinger Hüttenwerke
Ein zentrales Anliegen der Dillinger Hütte ist es, ihre Mitarbeiter und Mitarbeiterinnen dazu zu befähigen, mit dem fortwährenden technischen und wirtschaftlichen Wandel in der Gesellschaft Schritt zu halten. Gemäß dem Grundsatz „Weiterbildung ist ein unverzichtbares Element für die eigene und die Zukunft des Unternehmens“ bietet die Dillinger Hütte für ihre Mitarbeiterinnen und Mitarbeiter ein umfassendes Weiterbildungsprogramm an. Dieses zielt darauf ab sowohl fachliche als auch soziale Kompetenzen zu stärken.
Die Dillinger Hütte ist bestrebt qualitative hochwertige Weiterbildungen anzubieten und sich in diesem Zusammenhang kontinuierliche weiterzuentwickeln. Aufgrund dessen führte das Centrum für Evaluation ein umfassendes Evaluationsprojekt durch. Dieses besteht aus zwei Teilprojekten:
1. Einer Wirkungsevaluation der internen Weiterbildungsmaßnahmen
2. Die Entwicklung und Implementierung eines M&E-Systems
Ziel des ersten Teilprojekts war es, strategisch relevante, interne Weiterbildungen bezüglich ihrer Wirkung und Nachhaltigkeit zu beurteilen, um dadurch den Lernprozess und die kontinuierliche Verbesserung des Programms voranzutreiben.
Methodisch umfasste diese Evaluation eine Dokumenten-und Sekundäranalyse sowie explorative Interviews zur Entwicklung von Wirkungsindikatoren. Anhand leitfadengestützter Interviews mit Vorgesetzten der Teilnehmenden sowie einer Online-Erhebung wurden Wirkung und Nachhaltigkeit der Weiterbildungen erfasst.
Entwicklung und Implementierung eines M&E-Systems für die Weiterbildungsaktivitäten der Aktien-Gesellschaft der Dillinger Hüttenwerke
Ein zentrales Anliegen der Dillinger Hütte ist es, ihre Mitarbeiter und Mitarbeiterinnen dazu zu befähigen, mit dem fortwährenden technischen und wirtschaftlichen Wandel in der Gesellschaft Schritt zu halten. Gemäß dem Grundsatz „Weiterbildung ist ein unverzichtbares Element für die eigene und die Zukunft des Unternehmens“ bietet die Dillinger Hütte für ihre Mitarbeiterinnen und Mitarbeiter ein umfassendes Weiterbildungsprogramm an. Dieses zielt darauf ab sowohl fachliche als auch soziale Kompetenzen zu stärken.
Die Dillinger Hütte ist bestrebt qualitative hochwertige Weiterbildungen anzubieten und sich in diesem Zusammenhang kontinuierliche weiterzuentwickeln. Aufgrund dessen führte das Centrum für Evaluation ein umfassendes Evaluationsprojekt durch. Dieses besteht aus zwei Teilprojekten:
1. Einer Wirkungsevaluation der internen Weiterbildungsmaßnahmen
2. Die Entwicklung und Implementierung eines M&E-Systems
Ziel des zweiten Teilprojekts war es, ein kontinuierliches Monitoring- und Evaluationssystem (M&E) für interne und externe Weiterbildungen zu entwickeln und zu implementieren, welches die Dillinger Hütte dazu in die Lage versetzt, selbst regelmäßige M+E-Aktivitäten durchzuführen, die erhobenen Daten zu analysieren und zu verwerten.
In diesem Zusammenhang wurden gemeinsam mit der Dillinger Hütte geeignete Erhebungsinstrumente entwickelt und ein Instrument zur technischen Umsetzung von Befragungen eingeführt. Darüber hinaus wurden Schulungen sowohl zur Handhabung des Instruments als auch zur Datenauswertung und -interpretation durchgeführt.
Datenauswertung und Evaluation der Aktivitäten der DW-AKADEMIE in Ruanda
Für die Deutsche Welle evaluierte das Centrum für Evaluation das von der Deutsche Welle-AKADEMIE in Ruanda durchgeführte Training „Reporting for Democracy“. Das von Deutsche Welle-AKADEMIE und der School of Journalism and Communication an der National University of Rwanda gemeinsam organisierte Training umfasste im Zeitraum von Juni 2010 bis April 2011 zehn verschiedene Module zum Thema „Wahlberichterstattung“. Journalisten aus allen Bereichen (Print, Online, Radio, TV) waren Zielgruppe der Veranstaltungen.
Im Rahmen der Datenauswertung und Evaluation wurden die quantitativen und qualitativen Daten der Seminarbeurteilungen der Module ausgewertet. Weiterhin wurden telefonische Kurzinterviews mit sechs bis acht Trainern geführt. Mit Unterstützung der Deutschen Welle-AKADEMIE wurden schließlich alle Teilnehmer in einer Abschlusssitzung einige Monate nach dem letzten Trainingsmodul mittels eines standardisierten Fragebogens um eine Bewertung des langfristigen Nutzens des Trainings gebeten. Ziel der Evaluation war über die deskriptive, summative Auswertung der Rückmeldungen hinaus die Ableitung von Empfehlungen zur Durchführung derartiger Trainings.
Unterstützung der Evaluationsaktivitäten des Doktorandenkollegs DES
Die Doctoral School in Educational Sciences (DES) bietet qualifiziertem wissenschaftlichem Nachwuchs die Möglichkeit, innerhalb von maximal vier Jahren ein Studium mit einem PhD in Psychologie, Geschichts-, Sozial-, Erziehungs- oder Sprachwissenschaften abzuschließen. Um von den Studierenden Rückmeldungen über diverse Aspekte des Studiums (allgemeine Zufriedenheit, Nutzen und Qualität der Lehrveranstaltungen etc.) zu erhalten, wurden seitens des Centrums für Evaluation zwei Instrumente im Auftrag des Doktorandenkollegs entwickelt.
Dabei handelte es sich zum einen um einen lehrangebotsbezogenen Seminarbeurteilungsbogen, der in den Kursen des Kollegs eingesetzt wurde und Erkenntnisse über die Qualität der Veranstaltungen generieren sollte. Zum anderen wurde ein DES-übergreifendes Evaluationsinstrument entwickelt. Dabei handelte es sich um einen Online-Fragebogen, mit dessen Hilfe allgemeine Aspekte des Doktorandenkollegs eruiert wurden, etwa bezüglich der Erwartungen der Studierenden an das Graduiertenkolleg und ihre Erfahrungen mit dem Kolleg.
Während das CEval bei dem Seminarbeurteilungsbogen lediglich für die Instrumentenentwicklung zuständig war, zeichnete das CEval sich im Rahmen der DES-übergreifenden Befragung für den gesamten Befragungsprozess (von der Instrumentenentwicklung über die Durchführung bis hin zur Auswertung der Befragung) verantwortlich.
Saarländische Studierende als ökonomischer Standortfaktor
Hochschulen sind aus mehreren Gründen wichtige ökonomische Faktoren für die Region, in welcher sie angesiedelt sind, und stellen dort einen wesentlichen Standortfaktor dar. Dies gilt zum einen unmittelbar durch das wirtschaftliche Potential der beschäftigten Mitarbeiter:innen und Studierenden, die in Form privaten Konsums Nachfrageeffekte vorrangig in der Region erzeugen und zum anderen durch Infrastrukturinvestitionen (z.B. Baumaßnahmen) der Hochschulen sowie die bevorzugte Ansiedlung von Unternehmen aus know-how-intensiven Branchen.
Neben diesen unmittelbaren, direkten und indirekten sozioökonomischen Effekten erbringen jedoch Hochschulen mittel- und langfristig einen Nutzen, der für die regionale Wirtschafts und Kulturentwicklung insbesondere unter den Bedingungen des demographischen Wandels von zentraler Bedeutung ist. Hochschulen ziehen als attraktive Bildungsstätten junge, begabte Personen aus anderen Regionen an, die zum Teil nach ihrem Studium langfristig dem lokalen saarländischen Arbeitsmarkt als hochqualifizierte Fachkräfte zur Verfügung stehen („Pull-Effekte“).
Den „Pull-Effekten“ stehen jedoch auch „Push-Effekte“ entgegen, welche aus Sicht der Region die Rendite der geleisteten Ausbildungsinvestitionen verringern, ja mittelfristig sogar abhängig vom Ausmaß zu einer negativen Bilanz führen können. Wenn in einer Region keine adäquaten Beschäftigungsmöglichkeiten für die Ausbildungsleistungen der Hochschule vorhanden sind oder das Lohnniveau deutlich unterdurchschnittlich liegt, kann es trotz hoher Exzellenz von Forschung und Lehre zu Abwanderungstendenzen hochqualifizierter Absolvent:innen kommen.
Neben Experteninterviews, die mit Studierenden, Vertretern aus der Politik und Personalverantwortlichen aus Unternehmen geführt wurden, war das Ziel der quantitativen Studierendenbefragung eine umfassende Erfassung der Faktoren, die zur ökonomischen Bewertung der Studierenden notwendig war.