Entwicklung eines Konzepts zur Evaluation von e-Learning Angeboten im Rahmen von VISU (Virtuelle Saar-Universität)
Im Auftrag von Herrn Prof. Dr. Reinhard Daugs, Leiter des Projekts VISU (Virtuelle-Saar-Universität), wurde ein umfassendes Konzept zur Evaluation internetbasierter Hochschul-Lehrangebote entwickelt. Ziel war, allen Fachrichtungen und Lehrstühlen der Universität des Saarlandes ein geeignetes Instrumentarium zur Verfügung zu stellen, mit dem Online-Lehrangebote über alle Phasen der Planung, Entwicklung und Implementierung (Anbieterseite) sowie der Anwendung (Nutzerseite) evaluiert werden konnten.
Evaluation des E-Journals „Motor Control and Learning“
Dies ist ein Subprojekt des von der Europäischen Kommission kofinanzierten Projektes „ITES“ (Information Technologies in European Sport and Sport Science).
Das Projekt ITES hat zum Ziel, internet-basierte Informations- und Kommunikationskonzepte zu entwickeln, welche die universitären Anwendungsfelder Veranstaltungen, Veröffentlichungen und Lehre abdecken. Im Rahmen des ITES-Subprojekts web-based publishing wurde hierbei vom Sportwissenschaftlichen Institut der Universität des Saarlandes
das E-Journal „Motor Control and Learning“ konzipiert und implementiert.
Für die Evaluation dieses E-Journals wurde vom CEval ein Evaluations- und Monitoring-Konzept entwickelt und umgesetzt. Folgende Aspekte werden hierbei schwerpunktmäßig erfasst: (1) die „Attraktivität“ und (2) die „Aktualität“ des E-Journals, (3) die Erreichung der Zielgruppen, (4) die Qualität der technischen Implementierung, (5) die inhaltliche Qualität des E-Journals und (6) die Qualität der Dienstleistungen und der Homepage-Verwaltung.
Die Erhebung der hierfür notwendigen Daten erfolgt zum einen mittels eines standardisierten Online-Fragebogens, der den Nutzern des E-Journals in regelmäßigen Intervallen präsentiert wird und zum anderen durch eine Analyse der standardmäßig aufgezeichneten Internet-Nutzungsprotokolle (Log Files).
Die Bedeutung von Europakompetenz für den Wirtschaftsstandort Saarland – Der Beitrag der Qualifikationsangebote der UdS für Betriebsansiedlungen und Existenzgründungen
Das Centrum für Evaluation (CEval) untersuchte innerhalb des von der Kooperationsstelle Wissenschaft und Arbeitswelt in Zusammenarbeit mit der Arbeitskammer des Saarlandes geförderten Forschungsvorhabens „Arbeitswelt Europa & Auswirkungen der Europäisierung auf das Saarland, auf die Arbeitswelt des Saarlandes und die Großregion im Umfeld des Saarlandes“ die Bedeutung der europabezogenen Expertise an den saarländischen Hochschulen – insbesondere der UdS – und der diesbezügliche Qualifikationen ihrer Absolvent:innen für Unternehmensansiedlungen und Existenzgründungen im Saarland und damit für die wirtschaftliche Entwicklung und die Beschäftigungslage im Saarland.
Ziel des Forschungsprojekts war, zu klären, welche Nachfrage von Seiten der saarländischen Wirtschaft nach europabezogenen Qualifikationen von Absolvent:innen der saarländischen Hochschulen bestand. Diese Fragestellung sollte in Hinblick auf die Bedeutung der Nachfrage nach Qualifikationen für Unternehmensansiedlungen und Existenzgründungen im Saarland betrachtet werden. Darüber hinaus sollte untersucht werden, ob die europabezogene Expertise an der UdS und die entsprechenden Qualifikationen ihrer Absolvent:innen, Chancen für Existenzgründ:innen im Saarland boten.
Das Design der Studie umfasste in der explorativen Phase qualitative Erhebungen bei den Mitarbeiter:innen relevanter Informations- und Beratungsorganisationen für Existenzgründungen und Unternehmensansiedlungen. Aus den hierbei gewonnenen Informationen und aus der Analyse verfügbarer Dokumente und Statistiken wurde das Untersuchungsfeld für standardisierte Befragungen von Unternehmen und Existenzgründer:innen abgesteckt und es wurden die untersuchungsleitenden Hypothesen für die standardisierten Befragungen abgeleitet, die die Basis für die quantitative Überprüfung der entwickelten Hypothesen lieferten.
Evaluation des Verfahrens zur Erstsemesterauswahl des Cusanuswerkes
Das Cusanuswerk führt seit 2009 parallel zum bestehenden Grundauswahlverfahren ein neues Verfahren zur Stipendiat:innenauswahl, die sog. Erstsemesterauswahl, durch. Dieses komprimierte Verfahren, welches sich zum Zeitpunkt der Evaluation noch in der Pilotphase befand, soll einen deutlich früheren Zugang zur Förderung durch das Cusanuswerk ermöglichen. Nachdem drei Kohorten bei der Erstsemesterauswahl aufgenommener Stipendiaten den endgültigen Aufnahmeprozess durch die festen Gremien durchlaufen hatten, sollte das Erstsemesterauswahlverfahren evaluiert werden.
Aufgabe der seitens des Cusanuswerkes beauftragten Evaluation war die Bewertung der prognostischen Validität des Verfahrens. Dabei wurden das bisherige Grundauswahlverfahren und das neue Erstsemesterverfahren miteinander verglichen, indem die Teilnehmer:innen beider Verfahren mittels standardisierter Online-Befragungen befragt und vorhandene Daten und Dokumente analysiert werden.
Entwicklung eines Monitoringsystems für das Veranstaltungsprogramm des Bildungszentrums Kirkel (Phase II)
Das Forschungsprojekt sollte die Qualität des gesellschaftspolitischen Weiterbildungsprogramms des Bildungszentrums Kirkel der Arbeitskammer des Saarlands bilanzieren und die Basis für einen fortlaufenden Qualitätsentwicklungsprozess legen. In der ersten, konzeptionellen Phase des Projekts wurde zusammen mit den Dozentinnen und Dozenten sowie Mitgliedern der Führungsebene und der verantwortlichen Gremien ein Kriterienkatalog entwickelt, der verschiedene Dimensionen der Qualität gesellschaftspolitischer Weiterbildung beschrieb (Ziele, angestrebte Wirkungen, Charakter und Ausgestaltung der Seminare, etc.). In der zweiten, operativen Phase (01/04 & 01/05) wurden die Messinstrumente für Dozenten- und Teilnehmerbefragungen entwickelt, eingesetzt, die Daten ausgewertet und ein Verfahren erarbeitet, das es dem Bildungszentrum ermöglichte, die Messungen nach dem Projekt-Ende selbstständig und dauerhaft fortführen zu können. Insgesamt verfolgte das Projekt Ziele in vier Bereichen an:
> Bestimmung der Qualitätskriterien und -ziele, die bei der Evaluation von allgemeinen und gesellschaftspolitischen Weiterbildungsveranstaltungen beachtet und bewertet werden sollten (Kriterienentwicklung zur Qualitätsbewertung).
> Umfassende Bestandsaufnahme der Qualität des Veranstaltungsprogramms des Bildungszentrums Kirkel im Bereich der gesellschaftspolitischen Weiterbildung (Beschreibung des Ist-Zustandes).
> Bestimmung des Mehrwerts an Qualität, der durch die Integration von E-Learning-Modulen in einzelnen Veranstaltungen (bzw. einzelnen Segmenten dieser Veranstaltungen) erreicht werden könnte (Definition von Zielfeldern).
> Regelmäßige Qualitätsmessung zur kontinuierlichen Weiterentwicklung des Veranstaltungsprogramms (Dauerbeobachtung von Wirkungen).
Entwicklung eines Monitoringsystems für das Veranstaltungsprogramm des Bildungszentrums Kirkel (Phase I)
Das Forschungsprojekt sollte die Qualität des gesellschaftspolitischen Weiterbildungsprogramms des Bildungszentrums Kirkel der Arbeitskammer des Saarlands bilanzieren und die Basis für einen fortlaufenden Qualitätsentwicklungsprozess legen. In der ersten, konzeptionellen Phase des Projekts wurde zusammen mit den Dozentinnen und Dozenten sowie Mitgliedern der Führungsebene und der verantwortlichen Gremien ein Kriterienkatalog entwickelt, der verschiedene Dimensionen der Qualität gesellschaftspolitischer Weiterbildung beschreiben sollte (Ziele, angestrebte Wirkungen, Charakter und Ausgestaltung der Seminare, etc.). In der anvisierten zweiten, operativen Phase (01/04 & 01/05) sollten die Messinstrumente für Dozenten- und Teilnehmerbefragungen entwickelt, eingesetzt, die Daten ausgewertet und ein Verfahren erarbeitet werden, das es dem Bildungszentrum ermöglichte, die Messungen nach dem Projekt-Ende selbstständig und dauerhaft fortführen zu können. Insgesamt verfolgte das Projekt Ziele in vier Bereichen an:
> Bestimmung der Qualitätskriterien und -ziele, die bei der Evaluation von allgemeinen und gesellschaftspolitischen Weiterbildungsveranstaltungen beachtet und bewertet werden sollten (Kriterienentwicklung zur Qualitätsbewertung).
> Umfassende Bestandsaufnahme der Qualität des Veranstaltungsprogramms des Bildungszentrums Kirkel im Bereich der gesellschaftspolitischen Weiterbildung (Beschreibung des Ist-Zustandes).
> Bestimmung des Mehrwerts an Qualität, der durch die Integration von E-Learning-Modulen in einzelnen Veranstaltungen (bzw. einzelnen Segmenten dieser Veranstaltungen) erreicht werden könnte (Definition von Zielfeldern).
> Regelmäßige Qualitätsmessung zur kontinuierlichen Weiterentwicklung des Veranstaltungsprogramms (Dauerbeobachtung von Wirkungen).
Evaluation des Leonhard-Euler-Stipendienprogramms
Im Rahmen des Leonhard-Euler-Stipendienprogramms des DAAD werden deutschen Hochschulen, die eine gut funktionierende Partnerschaft mit einer russischen, ukrainischen oder belorussischen Hochschule insbesondere auf den Gebieten der Natur- und Ingenieurwissenschaften unterhalten, Mittel für Sur-Place-Stipendien für russische, ukrainische oder belorussische Nachwuchswissenschaftler zur Verfügung gestellt. Diese Fördermaßnahme zielt darauf ab, den Kontakt zwischen ausländischen Nachwuchswissenschaftlern und deutschen Hochschulen zu intensivieren, gemeinsame bilaterale Forschungsvorhaben nachhaltig zu fördern sowie einen Beitrag zur Qualifizierung des wissenschaftlichen Nachwuchses aus der Russischen Förderation, der Ukraine und Belarus zu leisten, um damit u. a. zum Verbleib des wissenschaftlichen Nachwuchses an den Hochschulen des betreffenden Landes beizutragen.
In der vom DAAD in Auftrag gegebenen Evaluationsstudie sollte anhand 60 ausgewählter Projekte zum einen die Frage beantwortet werden, inwieweit das Förderprogramm seine Ziele erreicht und zum anderen sollten aus den Ergebnissen der Studie Empfehlungen für die Programmfortführung abgeleitet werden.
Bei der Operationalisierung des Evaluationsauftrags kam insbesondere der Multimethodenansatz der CEval-Evaluationskonzeption zum Tragen: Neben der standardisierten Befragung der deutschen Projektleiter sowie der in den Projekten geförderten Stipendiaten wurden bei diesen Befragtengruppen und darüber hinaus bei Mitarbeitern der Verwaltung ausgewählter Hochschulen leitfadengestützte Interviews eingesetzt. Daneben wurden stichprobenhaft Projektbesuche durchgeführt. Die Erarbeitung der Erhebnungsinstrumente sowie die Interpretation der Ergebnisse wurde unterstützt durch eine sekundäranalytische Auswertung der Abschlussberichte der untersuchten Projekte sowie weiterer Informationsmaterialien des DAAD.
Im Anschluss an die Erhebungsphase erfolgte eine systematische Analyse sowie die Zusammenführung der unterschiedlichen Daten. Die Ergebnisse der Studie verweisen auf einen insgesamt hohen Zielerreichungsgrad des Leonhard-Euler-Programms. Es wurde deutlich, dass das Programm aus Sicht der deutschen Projektbeauftragten, der geförderten Stipendiaten sowie der Mitarbeiter der Verwaltung ausgewählter Hochschulen in seiner Förderstruktur auf die Probleme der Hochschulen der ehemaligen Sowjetunion reagiert und zu deren Lösung spezifische Beiträge leistet. Die vom CEval ausgesprochenen Empfehlungen betreffen u. a. den Deutschlandaufenthalt sowie die Stipendienraten.
DAAD-Bereichsevaluation „Stipendien für Ausländer“
Evaluation der Entwicklungspartnerschaft „MENTOR“
Die Evaluation dieses Projekts „MENTOR“ (Multifunctional European Network for Technological Cooperation, Open Learning and Research) als Teil der EU-Gemeinschaftsinitiative EQUAL, soll im Anfang primär begleitend und projektunterstützend (formativ) sein, während mit zunehmender Reife der Entwicklungspartnerschaft eine Bewertung gemäß der EQUAL-Ziele erfolgen wird. EQUAL verfolgt generell einen Abbau von Benachteiligungen am Arbeitsmarkt, um die Anpassungsfähigkeit, Beschäftigungsfähigkeit und den Unternehmergeist von traditionell benachteiligten Gruppen (Migranten, Frauen, Behinderte, etc.) zu stärken. Die Partnerschaft MENTOR, ein Netzwerk verschiedener regionaler Akteure des Saarlandes, setzt diese Ziele primär im Rahmen von Schulungen unter Anwendung neuer Informations- und Kommunikationstechnologien um.
Evaluation deutsch-japanischer Hochschulpartnerschaften
Die vom DAAD in Auftrag gegebene Evaluationsstudie über deutsch-japanische Hochschulpartnerschaften verfolgte zum einen das Ziel, anhand der Informationen über aktuell bestehende Partnerschaften zwischen deutschen und japanischen Hochschulen die Förderprogramme des DAAD in diesem Bereich besser an den Bedarf der Partnerschaften anpassen zu können. Zum anderen lieferten die gewonnenen Informationen auch Hinweise dazu, wie im Allgemeinen eine Intensivierung der Hochschulkooperationen zwischen Deutschland und Japan erreicht werden kann. Eine standardisierte Befragung der deutschen Partnerschaftsbeauftragten beantwortete u. a. Fragen nach der Aktivität der Partnerschaften, nach Problemen und Hindernissen im Rahmen der Partnerschaften und nach Erwartungen hinsichtlich zukünftiger Entwicklungen. Aus den gewonnenen Ergebnissen wurden schließlich Indikatoren abgeleitet, die eine Einstufung bestehender und zukünftiger deutsch-japanischer Hochschulpartnerschaften hinsichtlich ihrer partnerschaftlichen Aktivit
