Unterstützung der Qualitätssicherungsprozesse des SIAP
Das Saarländische Institut zur Aus- und Weiterbildung in Psychotherapie (SIAP) wurde 1995 gegründet und gehört zur Saarland Heilstätten GmbH (SHG). Das Institut ist eine staatlich anerkannte Ausbildungsstätte unter anderem für Psychologische Psychotherapeut:innen und Kinder- und Jugendpsychotherapeut:innen.
Aufgabe der seitens des SIAP beauftragten Beratung, die auch eine Evaluation einschloss, war es für die beiden Ausbildungen a) Verbesserungspotentiale innerhalb der Ausgestaltung der Ausbildung aufzudecken und b) zur Qualitätssicherung der Kurse einen Fragebogen zu entwickeln. Dafür wurden neben einer vertiefenden Analyse vorhandener Akten, Programmdokumente und der einschlägigen Literatur vor allem Leitfaden- und Gruppeninterviews mit den Ausbildungsteilnehmern (aus unterschiedlichen Ausbildungsstufen), den Praxisanleitern, den Dozenten und Supervisoren & und damit mit allen an der Ausbildung beteiligten Akteuren & durchgeführt. Besonders im Fokus stand dabei die Frage, inwieweit die Ausbildungsabsolventen durch Optimierungen der Ausbildungsprozesse entlastet und gleichzeitig zielgerichteter auf eine Tätigkeit in der therapeutischen Praxis vorbereitet werden können. Alle Daten wurden einer synergetischen Datenauswertung unterzogen und mündeten in einem kurzen Evaluationsbericht inklusive Empfehlungen zur Weiterentwicklung der Ausbildung. Daran anschließend wurde ein Fragebogen zur fortlaufenden Qualitätssicherung der Ausbildungskurse entwickelt, in den neben den Ergebnissen aus der Literaturanalyse die Erkenntnisse aus den qualitativen Interviews einflossen. Damit die Datenerhebungen sowie deren Auswertung von den Mitarbeitern des Instituts auch nach Beendung des Evaluationsprojekts in Eigenregie erfolgen können, wurde im Rahmen des Vorhabens zusätzlich ein Leitfaden entwickelt.Evaluation der Umsetzung des internetstrategischen Konzepts „Länderportale als interkulturelle Begegnungsplattform“
Gegenstand der Evaluation war die Umsetzung des
internetstrategischen Konzepts des Goethe Instituts (GI) „Länderportale als interkulturelle Begegnungsplattform“. Dieses Konzept ist seit 2011 für das GI handlungsleitend und folgt dem Leitgedanken, dass
– das Erlebnis der Begegnung durch Multimedia und Online-Interaktion bedeutsam ist,
– das Online-Angebot im Sinne einer Plattform durch (eine gewisse) Reichhaltigkeit und Dauerhaftigkeit gekennzeichnet ist und
– die Nutzer sich beteiligen und Inhalte beitragen können. Die interkulturellen Begegnungsplattformen zielen somit sowohl auf Informationsvermittlung als auch auf interkulturelle Sensibilisierung und interkulturellen Austausch. Im Rahmen der Evaluationsstudie sollte untersucht werden, ob die mit den Länderportalen angestrebten Ziele und die vorgesehen Zielgruppen erreicht werden. Zudem sollte die Effektivität der Länderportale hinsichtlich der Informationsvermittlung und des interkulturellen Austauschs analysiert werden. Aus den dabei gewonnenen Erkenntnissen war des Weiteren die Ableitung von konkreten Schlussfolgerungen und Empfehlungen zur Weiterentwicklung des Konzepts bzw. der Länderportale vorgesehen. Zur Datengewinnung folgte das CEval einem „mixed-methods“-Ansatz. Dabei wurde eine vertiefende Analyse bereits vorhandener Dokumente und Daten aus einer Online-Befragung des GI vorgenommen. Zudem wurden eigene Erhebungen (qualitative Leitfadeninterviews) durchgeführt.
Begleitende Evaluation des Karriereförderprogramms „Talente sichern & Zukunft gestalten“ (2013-2014)
Das Programm „Talente sichern & Zukunft gestalten“ des Cusanuswerks & Bischöfliche Studienförderung hat eine Förderung des weiblichen Führungsnachwuchses zum Ziel. Hierzu setzt das Programm auf Mentoringelemente & also eine tutorielle Betreuung von Stipendiatinnen deutscher Begabtenförderungswerke durch berufserfahrene Akademikerinnen und Akademiker & auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks.
Seit Beginn des Karriereförderprogramms im Jahr 2007 führt das Centrum für Evaluation (CEval) zur Qualitätssicherung prozessbegleitende, externe Evaluationen durch. Auch im vierten Programmdurchlauf 2013-2014 fand eine begleitende Evaluation statt. Zentrale Aufgabe dieser Evaluation war es, den durchführungsverantwortlichen Mitarbeiterinnen und Mitarbeitern des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse waren entsprechend der Zielsetzungen des Programms hierbei Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen, zur Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten.
Das bestehende und bewährte Evaluationskonzept wurde im Rahmen der Evaluation inhaltlich durch eine Anwendung des CIPP-Modells geschärft, wobei jedoch eine Vergleichbarkeit von Evaluationsergebnissen seit Beginn des Karriereförderprogramms sichergestellt wurde. Methodisch umfasste die Evaluation standardisierte Online-Befragungen der Mentees und Mentorinnen und Mentoren zu drei Zeitpunkten. Dieses Vorgehen ermöglichte eine frühzeitige Identifikation eventueller Probleme und eine zeitnahe Entwicklung geeigneter Maßnahmen, um diesen entgegenzuwirken.
Durchführung einer Mitgliederbefragung von IMMOEBS e.V.
IMMOEBS e.V. ist der Verein der Ehemaligen und Förderer der Post-Graduate- und Masterstudiengänge zur Immobilienökonomie an der European Business School und der Universität Regensburg. IMMOEBS wurde 1991 gegründet und hat derzeit ca. 2.600 Mitglieder; es ist damit das größte Alumni-Netzwerk der Immobilienwirtschaft in Deutschland.
IMMOEBS hatte das CEval mit einer Mitgliederbefragung beauftragt. Übergeordnetes Ziel der als Online-Erhebung angelegten Befragung war es, die Bewertung von IMMOEBS und seinen Aktivitäten durch die Mitglieder zu erfassen und Entwicklungspotenziale und eventuelle Anpassungsbedarfe zu identifizieren.
East4South – Development Awareness from the Roots
Gegenstand der Evaluation war das von der EU finanzierte Projekt der Deutschen Welle-Akademie (DWA) „East4South – Development Awareness from the Roots“. Das Projekt zielte darauf ab, Nachwuchsjournalisten aus den osteuropäischen EU12-Staaten dabei zu unterstützen, qualitativ hochwertige Reportagen über entwicklungspolitische Themen in den Medien ihrer Heimatländer zu veröffentlichen. Langfristig ist mit dem Projekt beabsichtigt, EU12-Bürger für entwicklungspolitische Themen zu sensibilisieren und in den EU12-Ländern eine positive Einstellung gegenüber der EU-Entwicklungspolitik zu erzeugen. Im Rahmen dieses Vorhabens wurden insgesamt 60 Nachwuchsjournalisten aus Osteuropa und Afrika in interkulturellem Journalismus weitergebildet und miteinander vernetzt. Bei einem Aufenthalt in Afrika produzierten afrikanische und osteuropäische Journalisten anschließend gemeinsam journalistische Beiträge über entwicklungspolitische Themen, mit dem Ziel diese in den Medien der EU12 Ländern zu veröffentlichen.
Ziel der summativen ex-post Evaluation war die Analyse und Bewertung der Wirkungen der Projektmaßnahmen und der Qualität der Projektdurchführung. Hierzu verwendete die CEval GmbH einen Multimethodenansatz mit u.a. qualitativen Leifadeninterviews mit Stakeholdern, einer Analyse von Projektdokumenten, Sekundäranalysen von Evaluationsfragebögen und Kurzberichten der Teilnehmer sowie einer standardisierten Online-Befragung aller Teilnehmer.Talking about migrants‘ lives in Russia
Gegenstand der Evaluation war das von der Deutschen Welle-Akademie und der russischen Foundation for Independent Radio Broadcasting durchgeführte EU-Projekt „Talking about migrants lives in Russia“. Ziel des Projekts war es, die Inklusion von Migranten in der russischen Gesellschaft zu fördern. Zur Erreichung dieses Zieles wurden russische Radiojournalisten und Vertreter zivilgesellschaftlicher Organisationen (VZOs) aus dem Bereich Migration in Workshops fortgebildet und auf lokaler Ebene miteinander vernetzt. Durch diese Workshops sollte zum einen die Professionalität der Radiojournalisten und zum anderen die Medienkompetenz der VZOs erhöht werden. Mithilfe von Podiumsdiskussionen, einer Internetplattform und eines journalistischen Wettbewerbs wurde zudem angestrebt, die Kooperation zwischen Radiojournalisten und VZOs dauerhaft zu intensivieren. Mittelfristig wurde mit all diesen Maßnahmen beabsichtigt, die Quantität und Qualität journalistischer Beiträge zu migrationsrelevanten Themen zu erhöhen.
Der Fokus der summativen ex-post-Evaluation lag auf der Analyse und Bewertung der kurz- und mittelfristigen Wirkungen der Workshops. Zu diesem Zweck wurde zudem näher untersucht, in welcher Weise die Projektdurchführung, die Internetplattform und die Podiumsdiskussionen die beabsichtigten Wirkungen beeinflusst haben.
Im Rahmen der Datenauswertung und Evaluation verwendete die CEval GmbH einen Multimethodenansatz mit u.a. einer Analyse von Projektdokumenten, Sekundäranalysen von Evaluationsfragebögen der Teilnehmer und qualitativen Leitfadeninterviews. Zudem wurden eine standardisierte russischsprachige Online-Befragung aller Teilnehmer sowie eine russischsprachige Emailbefragung mit dem russischen Projektmanager durchgeführt.Strengthening evaluation capacities within government and civil society in Uganda (ECD Uganda): Development of a blended-learning Master of Evaluation (2012-2015)
In den letzten Jahren erfährt Evaluation als wissenschaftliches Verfahren zur Beschreibung und Bewertung von Interventionen weltweit einen Bedeutungszuwachs. Auch in Uganda steigt der Bedarf an qualifizierten Fachleuten im Bereich Evaluation an. Allerdings kann dieser Bedarf durch bisher aufgelegten Trainings- und Evaluationsprogramm nicht ausreichend gedeckt werden. Aus diesem Grund initiierte das BMZ gemeinsam mit dem CEval und der GIZ ein Programm zur Entwicklung von Evaluationskapazitäten(ECD) in Uganda.
Die wichtigste Komponente dieses Programmes ist die Entwicklung und Durchführung eines Masterstudiengangs in Evaluation im Blended-learning Format an der Uganda Technology and Management University (UTAMU). Blended-learning stellt ein innovatives Konzept dar, das sich weltweit steigender Popularität erfreut und an der UTAMU als Standardlehrverfahren eingeführt wurde. Dabei vereint Blended-learning didaktisch kohärent traditionelle Präsenzveranstaltungen mit modernen Formen des eLearnings. Ein Vorteil dieses Konzepts ist, dass durch dieses Konzept nicht nur Ugandische Studenten sondern auch Studenten aller englischsprachigen afrikanischen Länder angesprochen wurden. Der Master of Evaluation der Saarland Universität sowie der HTW des Saarlandes dient als Vorlage für den ugandischen Master, der im Herbst 2015 eingeführt wurde. Die Inhalte des Masters wurden in enger Kooperation zwischen der CEval GmbH, den Dozenten des deutschen Masters und ugandischen Bezugspersonen an der Makarere Universität abgestimmt und an den ugandischen Kontext angepasst. Der ugandische Master of Monitoring and Evaluation umfasst insgesamt 15 Module, von denen sieben dem Basisprogramm zur Evaluation der saarländischen Hochschule entsprechen. Abgedeckt wurden dadurch alle relevanten Themen zum Erwerb profunder Evaluationskompetenzen. UTAMU hat diese durch weiterführende Module zum Projektmanagement, zum Monitoring und zur Existenzgründung von Consultings ergänzt. Die Module setzen sich im Groben aus Web based trainings, eTutoring und Präsenzveranstaltungen zusammen, wobei die Lehrkonzepte ebenfalls gemeinsam mit allen Akteuren entwickelt werden. Die Verantwortung für die technische Umsetzung der eLearning-Komponente oblag der GIZ. Zwei Module des Masters of Evaluation wurden in einer Pilotphase gemeinsam mit UTAMU getestet. In dieser Pilotphase wurden sowohl das eTutoring als auch die Präsenzphasen im Sinne des Tandemprinzips von Dozenten der UTAMU und der Universität des Saarlandes/HTW betreut. Das „Hosting“ des Online-Studiengangs wurde von der GIZ-Plattform gc21 übernommen. Anschließend wurden die sieben Module in den bereits bestehenden Master der UTAMU integriert und der neue Studiengang wurde den entsprechenden Gremien in Uganda vorgelegt. Mittlerweile ist der Studiengang in Uganda aggregiert und wurde im September 2015 testweise eingeführt.Entwicklung und Implementierung eines M&E-Systems für die Weiterbildungsaktivitäten der Aktien-Gesellschaft der Dillinger Hüttenwerke
Ein zentrales Anliegen der Dillinger Hütte ist es, ihre Mitarbeiter und Mitarbeiterinnen dazu zu befähigen, mit dem fortwährenden technischen und wirtschaftlichen Wandel in der Gesellschaft Schritt zu halten. Gemäß dem Grundsatz „Weiterbildung ist ein unverzichtbares Element für die eigene und die Zukunft des Unternehmens“ bietet die Dillinger Hütte für ihre Mitarbeiterinnen und Mitarbeiter ein umfassendes Weiterbildungsprogramm an. Dieses zielt darauf ab sowohl fachliche als auch soziale Kompetenzen zu stärken.
Die Dillinger Hütte ist bestrebt qualitative hochwertige Weiterbildungen anzubieten und sich in diesem Zusammenhang kontinuierliche weiterzuentwickeln. Aufgrund dessen führte das Centrum für Evaluation ein umfassendes Evaluationsprojekt durch. Dieses besteht aus zwei Teilprojekten:
1. Einer Wirkungsevaluation der internen Weiterbildungsmaßnahmen
2. Die Entwicklung und Implementierung eines M&E-Systems
Ziel des zweiten Teilprojekts war es, ein kontinuierliches Monitoring- und Evaluationssystem (M&E) für interne und externe Weiterbildungen zu entwickeln und zu implementieren, welches die Dillinger Hütte dazu in die Lage versetzt, selbst regelmäßige M+E-Aktivitäten durchzuführen, die erhobenen Daten zu analysieren und zu verwerten.
In diesem Zusammenhang wurden gemeinsam mit der Dillinger Hütte geeignete Erhebungsinstrumente entwickelt und ein Instrument zur technischen Umsetzung von Befragungen eingeführt. Darüber hinaus wurden Schulungen sowohl zur Handhabung des Instruments als auch zur Datenauswertung und -interpretation durchgeführt.
Datenauswertung und Evaluation der Aktivitäten der DW-AKADEMIE in Ruanda
Für die Deutsche Welle evaluierte das Centrum für Evaluation das von der Deutsche Welle-AKADEMIE in Ruanda durchgeführte Training „Reporting for Democracy“. Das von Deutsche Welle-AKADEMIE und der School of Journalism and Communication an der National University of Rwanda gemeinsam organisierte Training umfasste im Zeitraum von Juni 2010 bis April 2011 zehn verschiedene Module zum Thema „Wahlberichterstattung“. Journalisten aus allen Bereichen (Print, Online, Radio, TV) waren Zielgruppe der Veranstaltungen.
Im Rahmen der Datenauswertung und Evaluation wurden die quantitativen und qualitativen Daten der Seminarbeurteilungen der Module ausgewertet. Weiterhin wurden telefonische Kurzinterviews mit sechs bis acht Trainern geführt. Mit Unterstützung der Deutschen Welle-AKADEMIE wurden schließlich alle Teilnehmer in einer Abschlusssitzung einige Monate nach dem letzten Trainingsmodul mittels eines standardisierten Fragebogens um eine Bewertung des langfristigen Nutzens des Trainings gebeten. Ziel der Evaluation war über die deskriptive, summative Auswertung der Rückmeldungen hinaus die Ableitung von Empfehlungen zur Durchführung derartiger Trainings.
Unterstützung der Evaluationsaktivitäten des Doktorandenkollegs DES
Die Doctoral School in Educational Sciences (DES) bietet qualifiziertem wissenschaftlichem Nachwuchs die Möglichkeit, innerhalb von maximal vier Jahren ein Studium mit einem PhD in Psychologie, Geschichts-, Sozial-, Erziehungs- oder Sprachwissenschaften abzuschließen. Um von den Studierenden Rückmeldungen über diverse Aspekte des Studiums (allgemeine Zufriedenheit, Nutzen und Qualität der Lehrveranstaltungen etc.) zu erhalten, wurden seitens des Centrums für Evaluation zwei Instrumente im Auftrag des Doktorandenkollegs entwickelt.
Dabei handelte es sich zum einen um einen lehrangebotsbezogenen Seminarbeurteilungsbogen, der in den Kursen des Kollegs eingesetzt wurde und Erkenntnisse über die Qualität der Veranstaltungen generieren sollte. Zum anderen wurde ein DES-übergreifendes Evaluationsinstrument entwickelt. Dabei handelte es sich um einen Online-Fragebogen, mit dessen Hilfe allgemeine Aspekte des Doktorandenkollegs eruiert wurden, etwa bezüglich der Erwartungen der Studierenden an das Graduiertenkolleg und ihre Erfahrungen mit dem Kolleg.
Während das CEval bei dem Seminarbeurteilungsbogen lediglich für die Instrumentenentwicklung zuständig war, zeichnete das CEval sich im Rahmen der DES-übergreifenden Befragung für den gesamten Befragungsprozess (von der Instrumentenentwicklung über die Durchführung bis hin zur Auswertung der Befragung) verantwortlich.