Strengthening evaluation capacities within government and civil society in Uganda (ECD Uganda): Development of a blended-learning Master of Evaluation (2012-2015)
In den letzten Jahren erfährt Evaluation als wissenschaftliches Verfahren zur Beschreibung und Bewertung von Interventionen weltweit einen Bedeutungszuwachs. Auch in Uganda steigt der Bedarf an qualifizierten Fachleuten im Bereich Evaluation an. Allerdings kann dieser Bedarf durch bisher aufgelegten Trainings- und Evaluationsprogramm nicht ausreichend gedeckt werden. Aus diesem Grund initiierte das BMZ gemeinsam mit dem CEval und der GIZ ein Programm zur Entwicklung von Evaluationskapazitäten(ECD) in Uganda.
Die wichtigste Komponente dieses Programmes ist die Entwicklung und Durchführung eines Masterstudiengangs in Evaluation im Blended-learning Format an der Uganda Technology and Management University (UTAMU). Blended-learning stellt ein innovatives Konzept dar, das sich weltweit steigender Popularität erfreut und an der UTAMU als Standardlehrverfahren eingeführt wurde. Dabei vereint Blended-learning didaktisch kohärent traditionelle Präsenzveranstaltungen mit modernen Formen des eLearnings. Ein Vorteil dieses Konzepts ist, dass durch dieses Konzept nicht nur Ugandische Studenten sondern auch Studenten aller englischsprachigen afrikanischen Länder angesprochen wurden. Der Master of Evaluation der Saarland Universität sowie der HTW des Saarlandes dient als Vorlage für den ugandischen Master, der im Herbst 2015 eingeführt wurde. Die Inhalte des Masters wurden in enger Kooperation zwischen der CEval GmbH, den Dozenten des deutschen Masters und ugandischen Bezugspersonen an der Makarere Universität abgestimmt und an den ugandischen Kontext angepasst. Der ugandische Master of Monitoring and Evaluation umfasst insgesamt 15 Module, von denen sieben dem Basisprogramm zur Evaluation der saarländischen Hochschule entsprechen. Abgedeckt wurden dadurch alle relevanten Themen zum Erwerb profunder Evaluationskompetenzen. UTAMU hat diese durch weiterführende Module zum Projektmanagement, zum Monitoring und zur Existenzgründung von Consultings ergänzt. Die Module setzen sich im Groben aus Web based trainings, eTutoring und Präsenzveranstaltungen zusammen, wobei die Lehrkonzepte ebenfalls gemeinsam mit allen Akteuren entwickelt werden. Die Verantwortung für die technische Umsetzung der eLearning-Komponente oblag der GIZ. Zwei Module des Masters of Evaluation wurden in einer Pilotphase gemeinsam mit UTAMU getestet. In dieser Pilotphase wurden sowohl das eTutoring als auch die Präsenzphasen im Sinne des Tandemprinzips von Dozenten der UTAMU und der Universität des Saarlandes/HTW betreut. Das „Hosting“ des Online-Studiengangs wurde von der GIZ-Plattform gc21 übernommen. Anschließend wurden die sieben Module in den bereits bestehenden Master der UTAMU integriert und der neue Studiengang wurde den entsprechenden Gremien in Uganda vorgelegt. Mittlerweile ist der Studiengang in Uganda aggregiert und wurde im September 2015 testweise eingeführt.Barrieren für Hochschulabsolventen am Arbeitsmarkt der Großregion
Die Kooperationsstelle Wissenschaft und Arbeitswelt (KoWA) der Universität des Saarlandes hatte in Zusammenarbeit mit der Arbeitskammer des Saarlandes die Forschungsausschreibung „Arbeitsmarkt für Hochschulabsolventinnen und -absolventen in der Großregion“ vorbereitet. Bezogen auf den Verwertungszusammenhang sollte diese Studie Erkenntnisse zu Fragen der Chancen von Hochschulabsolvent:innen im saarländischen Arbeitsmarkt liefern und dabei die fördernden und hemmenden Rahmenbedingungen für den Eintritt in den saarländischen und grenzüberschreitenden Arbeitsmarkt untersuchen. Aufgrund eigener Forschungsarbeiten war bereits bekannt, dass sich die grenzüberschreitende Berufseinmündung für Hochschulabsolvent:innen trotz einer Reihe von Fachvermittlungsstellen und Studiengängen, die unter Beteiligung mehrerer Hochschulen in der Großregion durchgeführt werden, sehr schwierig darstellt.
Eine umfassende repräsentative Befragung von Absolvent:innen saarländischer Hochschulen zu den Motiven und Hinderungsgründen, die bei der Berufseinmündung für oder gegen ein Suchen auch im benachbarten Ausland sprechen, war bisher noch nicht durchgeführt worden. Insbesondere fehlten außerdem Informationen zum umgekehrten Weg, also zu den Hochschulabsolvent:innen in Lothringen, Luxemburg und der Wallonie, die sich im Saarland um einen Arbeitsplatz bemühten. Hier sollten im Rahmen des Forschungsprojektes die Datenlücken so weit wie möglich geschlossen werden. Dazu sollten zunächst alle Absolvent:innen der Universität des Saarlandes der letzten acht Jahre in Form einer Absolventenstudie befragt werden. Die Absolvent:innen erhielten eine Einladung per E-Mail und auch per Postkarte, welche an die Heimatadresse der Absolvent:innen versendet wurde, zur Teilnahme an einer Online-Befragung. Weitere Absolventenstudien an anderen Universitäten der Großregion waren im Anschluss geplant.
Evaluation der Mitarbeitergespräche 2013 der Saarstahl AG
Im Jahr 2013 führte die Saarstahl AG auf Wunsch der Führungskräfte systematische Mitarbeitergespräche (MAG) als Instrument der Mitarbeiterführung ein. Dieses partnerschaftliche, anlassunabhängige Vieraugengespräch wird nun jährlich zwischen Mitarbeiter:innen mit Führungsverantwortung und deren Vorgesetzten durchgeführt, um eine verbesserte Ausrichtung auf die Ziele des Unternehmens und die Unternehmenskultur zu erreichen und eine Förderung der Mitarbeiter:innen und Verbesserung der Zusammenarbeit innerhalb des Unternehmens zu realisieren.
Die Aufgabe der Evaluation des MAG 2013 war es zu prüfen, ob die Einführung des MAG erfolgreich verlaufen ist. Besonderer Fokus lag dabei auf der Vorbereitung der Mitarbeiter:innen auf das Gespräch (Schulungen, Materialien) sowie auf der Handhabbarkeit des Instruments hinsichtlich Inhalt und Struktur. Darüber hinaus galt es zu bewerten, inwieweit das MAG als sinnvolles Instrument der Mitarbeiterführung angesehen wird und ob dadurch eine Verbesserung der Führungskultur im Unternehmen Saarstahl erreicht werden konnte. Ziel war es, das MAG in seiner gegenwärtigen Form zu bewerten und ggf. Optimierungspotenziale zu identifizieren. Hierzu wurde von der CEval GmbH in Abstimmung mit der Saarstahl AG eine standardisierte Online-Befragung der Mitarbeiter:innen des Unternehmens über verschiedene Hierarchieebenen hinweg konzipiert und durchgeführt. Im Vorfeld dazu wurden leitfadengestützte Interviews unter anderem mit für die Implementierung verantwortlichen Personen sowie mit ausgewählten Mitarbeiter:innenn unterschiedlicher Hierarchieebenen des Unternehmens geführt.Unterstützung der Qualitätssicherungsprozesse des SIAP
Das Saarländische Institut zur Aus- und Weiterbildung in Psychotherapie (SIAP) wurde 1995 gegründet und gehört zur Saarland Heilstätten GmbH (SHG). Das Institut ist eine staatlich anerkannte Ausbildungsstätte unter anderem für Psychologische Psychotherapeut:innen und Kinder- und Jugendpsychotherapeut:innen.
Aufgabe der seitens des SIAP beauftragten Beratung, die auch eine Evaluation einschloss, war es für die beiden Ausbildungen a) Verbesserungspotentiale innerhalb der Ausgestaltung der Ausbildung aufzudecken und b) zur Qualitätssicherung der Kurse einen Fragebogen zu entwickeln. Dafür wurden neben einer vertiefenden Analyse vorhandener Akten, Programmdokumente und der einschlägigen Literatur vor allem Leitfaden- und Gruppeninterviews mit den Ausbildungsteilnehmern (aus unterschiedlichen Ausbildungsstufen), den Praxisanleitern, den Dozenten und Supervisoren & und damit mit allen an der Ausbildung beteiligten Akteuren & durchgeführt. Besonders im Fokus stand dabei die Frage, inwieweit die Ausbildungsabsolventen durch Optimierungen der Ausbildungsprozesse entlastet und gleichzeitig zielgerichteter auf eine Tätigkeit in der therapeutischen Praxis vorbereitet werden können. Alle Daten wurden einer synergetischen Datenauswertung unterzogen und mündeten in einem kurzen Evaluationsbericht inklusive Empfehlungen zur Weiterentwicklung der Ausbildung. Daran anschließend wurde ein Fragebogen zur fortlaufenden Qualitätssicherung der Ausbildungskurse entwickelt, in den neben den Ergebnissen aus der Literaturanalyse die Erkenntnisse aus den qualitativen Interviews einflossen. Damit die Datenerhebungen sowie deren Auswertung von den Mitarbeitern des Instituts auch nach Beendung des Evaluationsprojekts in Eigenregie erfolgen können, wurde im Rahmen des Vorhabens zusätzlich ein Leitfaden entwickelt.Evaluation der Umsetzung des internetstrategischen Konzepts „Länderportale als interkulturelle Begegnungsplattform“
Gegenstand der Evaluation war die Umsetzung des
internetstrategischen Konzepts des Goethe Instituts (GI) „Länderportale als interkulturelle Begegnungsplattform“. Dieses Konzept ist seit 2011 für das GI handlungsleitend und folgt dem Leitgedanken, dass
– das Erlebnis der Begegnung durch Multimedia und Online-Interaktion bedeutsam ist,
– das Online-Angebot im Sinne einer Plattform durch (eine gewisse) Reichhaltigkeit und Dauerhaftigkeit gekennzeichnet ist und
– die Nutzer sich beteiligen und Inhalte beitragen können. Die interkulturellen Begegnungsplattformen zielen somit sowohl auf Informationsvermittlung als auch auf interkulturelle Sensibilisierung und interkulturellen Austausch. Im Rahmen der Evaluationsstudie sollte untersucht werden, ob die mit den Länderportalen angestrebten Ziele und die vorgesehen Zielgruppen erreicht werden. Zudem sollte die Effektivität der Länderportale hinsichtlich der Informationsvermittlung und des interkulturellen Austauschs analysiert werden. Aus den dabei gewonnenen Erkenntnissen war des Weiteren die Ableitung von konkreten Schlussfolgerungen und Empfehlungen zur Weiterentwicklung des Konzepts bzw. der Länderportale vorgesehen. Zur Datengewinnung folgte das CEval einem „mixed-methods“-Ansatz. Dabei wurde eine vertiefende Analyse bereits vorhandener Dokumente und Daten aus einer Online-Befragung des GI vorgenommen. Zudem wurden eigene Erhebungen (qualitative Leitfadeninterviews) durchgeführt.
Begleitende Evaluation des Karriereförderprogramms „Talente sichern & Zukunft gestalten“ (2013-2014)
Das Programm „Talente sichern & Zukunft gestalten“ des Cusanuswerks & Bischöfliche Studienförderung hat eine Förderung des weiblichen Führungsnachwuchses zum Ziel. Hierzu setzt das Programm auf Mentoringelemente & also eine tutorielle Betreuung von Stipendiatinnen deutscher Begabtenförderungswerke durch berufserfahrene Akademikerinnen und Akademiker & auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks.
Seit Beginn des Karriereförderprogramms im Jahr 2007 führt das Centrum für Evaluation (CEval) zur Qualitätssicherung prozessbegleitende, externe Evaluationen durch. Auch im vierten Programmdurchlauf 2013-2014 fand eine begleitende Evaluation statt. Zentrale Aufgabe dieser Evaluation war es, den durchführungsverantwortlichen Mitarbeiterinnen und Mitarbeitern des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse waren entsprechend der Zielsetzungen des Programms hierbei Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen, zur Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten.
Das bestehende und bewährte Evaluationskonzept wurde im Rahmen der Evaluation inhaltlich durch eine Anwendung des CIPP-Modells geschärft, wobei jedoch eine Vergleichbarkeit von Evaluationsergebnissen seit Beginn des Karriereförderprogramms sichergestellt wurde. Methodisch umfasste die Evaluation standardisierte Online-Befragungen der Mentees und Mentorinnen und Mentoren zu drei Zeitpunkten. Dieses Vorgehen ermöglichte eine frühzeitige Identifikation eventueller Probleme und eine zeitnahe Entwicklung geeigneter Maßnahmen, um diesen entgegenzuwirken.
Durchführung einer Mitgliederbefragung von IMMOEBS e.V.
IMMOEBS e.V. ist der Verein der Ehemaligen und Förderer der Post-Graduate- und Masterstudiengänge zur Immobilienökonomie an der European Business School und der Universität Regensburg. IMMOEBS wurde 1991 gegründet und hat derzeit ca. 2.600 Mitglieder; es ist damit das größte Alumni-Netzwerk der Immobilienwirtschaft in Deutschland.
IMMOEBS hatte das CEval mit einer Mitgliederbefragung beauftragt. Übergeordnetes Ziel der als Online-Erhebung angelegten Befragung war es, die Bewertung von IMMOEBS und seinen Aktivitäten durch die Mitglieder zu erfassen und Entwicklungspotenziale und eventuelle Anpassungsbedarfe zu identifizieren.
Grenzüberschreitende Koordination und Kooperation in interregionalen Organisationen am Beispiel Interregionaler Gewerkschaftsräte
Dieses Forschungsprojekt widmete sich der grenzüberschreitenden Zusammenarbeit von Gewerkschaften auf regionaler Ebene, indem es die historische Entwicklung sowie die Funktionsweisen und Problemlösungspotenziale des IGR Saar-Lor-Lux-Trier/Westpfalz vertiefend untersuchte und mit drei weiteren Interregionalen Gewerkschaftsräten verglich. Auf einem institutionalistischen Ansatz aufbauend, wurde in dem Forschungsprojekt ein theoretischer Rahmen entwickelt, der drei Faktorenbündel identifiziert, um vor dem Hintergrund der Entstehung, Entwicklung und Funktionsweise das Problemlösungspotenzial Interregionaler Gewerkschaftsräte zu erfassen: Die strukturelle Einbettung eines IGRs in unterschiedliche nationale Arbeitsmärkte und Wohlfahrtsregime, die Arbeitsbeziehungen und Gewerkschaftsstrukturen in den einzelnen Regionen sowie die interkulturelle Kommunikation und unterschiedliche Gewerkschaftskulturen zwischen den Gewerkschaften, die zusammen einen IGR bilden.
Evaluation des „Programms zur Förderung der Integration ausländischer Studierender“ (PROFIN)
Gegenstand der Evaluation war das BMBF-geförderte Programm zur Förderung der Integration ausländischer Studierender (PROFIN), das vom Deutschen Akademischen Austauschdienst (DAAD) in einer vierjährigen Förderlaufzeit von 2009 bis 2012 durchgeführt wurde. Der DAAD zielte mit PROFIN auf eine verbesserte Integration ausländischer Studierender in Hochschule und Gesellschaft durch Projekte an Hochschulen zur allgemeinen, fachlichen und sozialen Integration ab. Durch das Programm sollte auch ein Paradigmenwechsel im Verhältnis der deutschen Hochschule zu ihren ausländischen Studierenden erreicht werden: von der Betreuung zur Integration.
Im Rahmen der Evaluationsstudie wurde untersucht, ob die angestrebten Ziele des Programms erreicht wurden und welche Maßnahmen und Projekte sich als besonders erfolgreich und wirksam erwiesen haben. Zur Datengewinnung folgte das CEval einem „mixed-methods“ Ansatz. Dabei wurde eine vertiefende Analyse bereits vorhandener Dokumente vorgenommen und es wurden eigene Erhebungen (qualitative Leitfadeninterviews und standardisierte Onlinebefragungen) durchgeführt.Evaluation der Arbeit der Deutschen UNESCO-Kommission
Die UNESCO fordert von ihren Mitgliedsstaaten die Einrichtung nationaler Kommissionen, die zu einer effektiveren Ausgestaltung der Mitgliedschaft beitragen sollen. Dementsprechend hat die Bundesrepublik Deutschland die Deutsche UNESCO-Kommission e.V. (DUK) eingerichtet. Neben Beratungsaufgaben von Regierung und Parlament bearbeitet die DUK gemäß ihrer Satzung weitere Aufgaben wie bspw. die Mitwirkung an der Ausgestaltung der Mitgliedschaft Deutschlands in der UNESCO, die Förderung internationaler Verständigung, die Leistung eines Beitrags zur friedenssichernden Arbeit der UNESCO oder das Unterrichten der Öffentlichkeit über die Zwecke und die Arbeit der DUK.
Das Centrum für Evaluation (CEval) wurde mit der Evaluation der Arbeit der DUK beauftragt und bearbeitete dabei unterschiedliche Aufgabenstellungen. So wurde eine Bewertung der von der DUK erbrachten Beratungsleistungen für die Bundesregierung und das Parlament vorgenommen. Zudem wurden die Ziel- und Steuerungssysteme der DUK analysiert sowie die Arbeitsabläufe innerhalb der DUK einer Prozessanalyse unterzogen. Schließlich wurden unterschiedliche Programmbereiche wie die „Kontaktstelle kulturelle Vielfalt“, das Kooperationsprojekt mit afrikanischen Nationalkommissionen und die Aktivitäten der DUK im Zusammenhang mit den „UNESCO-Biosphärenreservaten“ evaluiert. Die Ziele der Evaluation leiteten sich aus ihren Aufgabenstellungen ab und bestanden unter anderem in der Entwicklung erkenntnisbasierter Empfehlungen zur Optimierung des Beitrags der DUK im Hinblick auf das Ziel der Bundesregierung, die Rolle Deutschlands in der UNESCO zu stärken und zur Optimierung der Zielerreichung der DUK. Zudem sollte die Evaluation zur Optimierung der Arbeitsabläufe hinsichtlich Wirtschaftlichkeit, Prozess- und Produktqualität, Wirksamkeit und Relevanz sowie zur Optimierung der Instrumente zur Erfolgsmessung, u.a. im Hinblick auf die Notwendigkeit der Rechenschaftslegung gegenüber dem Auswärtigen Amt, beitragen. Die Herangehensweise des CEval ist grundsätzlich theoriegeleitet. Mit Blick auf die Validität der Forschungsergebnisse waren für die Evaluationskonzeption sowohl theoretische Modelle als auch methodische Grundannahmen bedeutsam. Auf der theoretischen Ebene war im Hinblick auf den Evaluationsgegenstand vor allem das organisationstheoretische Wirkungsmodell von besonderem Interesse. Aus methodischer Sicht kamen ein Multimethodenansatz sowie der partizipative Evaluationsansatz des CEval zur Anwendung.