Evaluation der Arbeit der Deutschen UNESCO-Kommission
Die UNESCO fordert von ihren Mitgliedsstaaten die Einrichtung nationaler Kommissionen, die zu einer effektiveren Ausgestaltung der Mitgliedschaft beitragen sollen. Dementsprechend hat die Bundesrepublik Deutschland die Deutsche UNESCO-Kommission e.V. (DUK) eingerichtet. Neben Beratungsaufgaben von Regierung und Parlament bearbeitet die DUK gemäß ihrer Satzung weitere Aufgaben wie bspw. die Mitwirkung an der Ausgestaltung der Mitgliedschaft Deutschlands in der UNESCO, die Förderung internationaler Verständigung, die Leistung eines Beitrags zur friedenssichernden Arbeit der UNESCO oder das Unterrichten der Öffentlichkeit über die Zwecke und die Arbeit der DUK.
Das Centrum für Evaluation (CEval) wurde mit der Evaluation der Arbeit der DUK beauftragt und bearbeitete dabei unterschiedliche Aufgabenstellungen. So wurde eine Bewertung der von der DUK erbrachten Beratungsleistungen für die Bundesregierung und das Parlament vorgenommen. Zudem wurden die Ziel- und Steuerungssysteme der DUK analysiert sowie die Arbeitsabläufe innerhalb der DUK einer Prozessanalyse unterzogen. Schließlich wurden unterschiedliche Programmbereiche wie die „Kontaktstelle kulturelle Vielfalt“, das Kooperationsprojekt mit afrikanischen Nationalkommissionen und die Aktivitäten der DUK im Zusammenhang mit den „UNESCO-Biosphärenreservaten“ evaluiert. Die Ziele der Evaluation leiteten sich aus ihren Aufgabenstellungen ab und bestanden unter anderem in der Entwicklung erkenntnisbasierter Empfehlungen zur Optimierung des Beitrags der DUK im Hinblick auf das Ziel der Bundesregierung, die Rolle Deutschlands in der UNESCO zu stärken und zur Optimierung der Zielerreichung der DUK. Zudem sollte die Evaluation zur Optimierung der Arbeitsabläufe hinsichtlich Wirtschaftlichkeit, Prozess- und Produktqualität, Wirksamkeit und Relevanz sowie zur Optimierung der Instrumente zur Erfolgsmessung, u.a. im Hinblick auf die Notwendigkeit der Rechenschaftslegung gegenüber dem Auswärtigen Amt, beitragen. Die Herangehensweise des CEval ist grundsätzlich theoriegeleitet. Mit Blick auf die Validität der Forschungsergebnisse waren für die Evaluationskonzeption sowohl theoretische Modelle als auch methodische Grundannahmen bedeutsam. Auf der theoretischen Ebene war im Hinblick auf den Evaluationsgegenstand vor allem das organisationstheoretische Wirkungsmodell von besonderem Interesse. Aus methodischer Sicht kamen ein Multimethodenansatz sowie der partizipative Evaluationsansatz des CEval zur Anwendung.MRE Netzwerk Hessen-Saarland: Schnittstellen in der Versorgung und ihre Überwindung durch Analyse, Wirkungsevaluation, und Einsatz neuer Lehr/Lerntechniken
Der Prävention vermeidbarer Infektionen im Gesundheitssystem kommt mit zunehmender Erkenntnis über die Bedingungen ihrer Entstehung und Ausbreitung ein legitimer und wachsender öffentlicher Anspruch zu. Mit dem Projekt wurde das Ziel verfolgt, durch ein über verschiedene Strukturen und Institutionen des Gesundheitssystems ausgerolltes Maßnahmen-Spektrum, unter Anwendung unterschiedlicher Methoden aus Infektionsmedizin, Lehr/Lerntheorie, differentieller Psychologie und Sozialwissenschaften, ein umfassendes Modell der integrativen, Sektor übergreifenden Intervention zur Prävention bakterieller Resistenzen und nosokomialer Infektionen in etablierten Regionalnetzwerken zu entwickeln. Diese für Deutschland neue, integrative Form der Versorgungsforschung sollte durch innovative Ansätze zur Infektions- und Resistenzprävention neue Erkenntnisse für deren Umsetzung im Rahmen allgemein anwendbarer Empfehlungen und Richtlinien liefern.
Das übergreifende Ziel des Projekts bestand darin, etablierte Verfahren und Maßnahmen zur Antibiotikakontrolle sowie zur Vermeidung von nosokomialen Infektionen in den bestehenden Netzwerken MRSAar/netz und MRE Rhein-Hessen weiterzuentwickeln und schwerpunktmäßig im nicht-akutstationären Bereich auszurollen.
Im interdisziplinären Forschungsprojekt unterstützte das CEval die Evaluation unterschiedlicher Informations- und Aufklärungsinterventionen durch sozialempirische Erhebungen und Analysen. Neben qualitativen Verfahren der Datenerhebung und -auswertung wurde für die Wirkungsanalyse auf quasi-experimentelle Untersuchungsanordnungen und entsprechende statistische Auswertungstechniken zurückgegriffen. Auf Grundlage der Synthese der infektionsepidemiologischen, biometrischen, sozialempirischen und differentialpsychologischen Befunde sollten Erkenntnisse mit Bedeutung für die praktische Umsetzung (z.B. in Richtlinien oder Empfehlungen zur Infektionsprävention und Antibiotikaversorgung) gewonnen werden.
Evaluation „Moderne Anwendungen in der Biotechnologie & Postdoktoranden-Austausch mit ausgewählten Ländern in Mittel- und Osteuropa“ und „Studieren und Forschen für Nachhaltigkeit“
Gegenstand der Evaluation waren zwei aus Mitteln des BMBF-geförderte Fachprogramme des DAAD, die beide 2005 begonnen wurden und Ende 2012 ausliefen. Ziel des Programms „Moderne Anwendungen der Biotechnologie & Postdoktoranden-Austausch mit ausgewählten Ländern in Mittel- und Osteuropa“ war es, besonders qualifizierten Nachwuchswissenschaftlerinnen und -wissenschaftlern mit Stipendien die Möglichkeit zu geben, für bis zu 12 Monate mit eigenen wissenschaftlichen Vorhaben an der Forschung selbst gewählter Institute an Hochschulen und außeruniversitären Forschungseinrichtungen im In- bzw. Ausland mitzuarbeiten. Damit sollten ihre Vernetzung in wichtigen Feldern der modernen Biotechnologie gefördert und ggf. Kooperationen angestoßen werden.
Das Programm „Studieren und Forschen für Nachhaltigkeit“ verfolgte das Ziel, die internationale Fachkommunikation und die Vernetzung zwischen Instituten, Studierenden und Wissenschaftlern in Deutschland und im Ausland zu entwickeln. Dazu wurden an besonders qualifizierte Studierende, Doktoranden und Postdoktoranden aus Deutschland, den BRICS-Staaten sowie der Mongolei Langzeitstipendien für Studium bzw. Forschung in ausgewählten Feldern der Nachhaltigkeitsforschung vergeben und die Durchführung von Sommerschulen gefördert. In einer dritten Programmlinie wurden zusätzliche Forschungsstipendien für Doktoranden und Postdoktoranden aus China und Deutschland vergeben.
Im Rahmen der Evaluation der beiden Programme sollten Aussagen über die wissenschaftliche Qualität der Stipendiatinnen und Stipendiaten und ihre persönlichen Motivationen für die Bewerbungen sowie die Nachhaltigkeit der Förderung und Vernetzung gewonnen werden. Weiterhin sollte die Erreichung der Ziele der Programme untersucht werden. Aus den gewonnenen Erkenntnissen sollten Schlussfolgerungen und Empfehlungen für die Gestaltung vergleichbarer Fachprogramme abgeleitet werden.
Zur Datengewinnung folgte das CEval einem „mixed-methods“ Ansatz. Dabei wurde eine vertiefende Analyse bereits vorhandener Dokumente vorgenommen und es wurden eigene Erhebungen (qualitative Leitfadeninterviews und standardisierte Onlinebefragungen) durchgeführt.
Externe Auditierung im Rahmen der Vergabe des Qualitätssiegels „Fanprojekt nach dem Nationalen Konzept Sport und Sicherheit“
In Deutschland existiert in Form von Fanprojekten ein dichtes bundesweites Netzwerk von Einrichtungen der Sozialen Arbeit mit jugendlichen Fußballfans, die nach den Rahmenbedingungen und Vorgaben des Nationalen Konzepts Sport und Sicherheit arbeiten (NKSS). Zu Zwecken der Qualitätssicherung und der kontinuierlichen Verbesserung der Arbeit der Fanprojekte wurde 2010 das Qualitätssiegel Fanprojekt nach dem NKSS eingeführt. Dieses soll zu einer verbesserten Wahrnehmung der Fanprojekte beitragen und den Fanprojekten Handlungssicherheit bieten. Das Qualitätssiegel ist 2012 in das überarbeitete NKSS aufgenommen worden und damit auf hoher politischer Ebene anerkannt. Vergeben wird das Qualitätssiegel von der Arbeitsgruppe Qualitätssicherung, in welcher Akteure aus dem Fußball, der obersten Landes- und Familienbehörden, der Wissenschaft sowie der Fanprojekte vertreten sind.
Das Vergabeverfahren des Qualitätssiegels sollte sowohl aus inhaltlicher als auch aus prozeduraler Perspektive überarbeitet werden, um ein Siegel zu schaffen, das ein valides Zeichen für die Güte und Qualität eines Projektes ist. Das Vergabeverfahren soll möglichst objektiv gestaltet sein und Transparenz über die Gründe für eine Vergabe oder auch Nicht-Vergabe des Siegels sichern. Im Rahmen der Überarbeitung des Siegels war es daher Aufgabe des Centrums für Evaluation (CEval), einen Kriterienkatalog sowie einen standardisierten Erhebungsbogen zu entwickeln. Darüber hinaus erarbeitete das CEval in Absprache mit den Partnern ein Konzept für die Umsetzung einer Pilotphase, in der das überarbeitete Qualitätssiegel und dessen Vergabeprozess auf ihre Praxistauglichkeit geprüft wurden. Die Pilotphase wurde mit fünf ausgewählten Fanprojekten umgesetzt. Auf Basis der Erkenntnisse und Erfahrungen der Pilotphase wurden das Konzept und die Instrumente finalisiert.
Begleitende Evaluation des Karriereförderprogramms „Talente sichern & Zukunft gestalten“ (2011-2012)
Das in 2011 in der dritten Phase laufende Programm „Talente sichern & Zukunft gestalten“ des Cusanuswerks & Bischöfliche Studienförderung setzte auf eine gezielte Förderung des weiblichen Führungsnachwuchses. Hierzu setzte das Programm auf Mentoring-Elemente & also eine tutorielle Betreuung von Stipendiatinnen deutscher Begabtenförderungswerke durch berufserfahrene Akademiker:innen & auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks. Neben überdurchschnittlichen Studienleistungen zeichneten sich die Stipendiatinnen dadurch aus, dass der Abschluss ihres Studiums bzw. ihrer Promotion in maximal einem Jahr anvisiert war oder dass sie Berufsanfängerinnen waren.
Zur Qualitätssicherung des Förderprogramms führte das CEval eine prozessbegleitende, externe Evaluation durch. Zentrale Aufgabe dieser Evaluation war es, den durchführungsverantwortlichen Mitarbeiter:innen des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen.
Methodisch umfasste die Evaluation standardisierte Online-Befragungen der Mentees und Mentorinnen zu drei Zeitpunkten. Im Zentrum des Interesses standen die Zufriedenheit mit dem Karriereförderprogramm, die Qualität der Beziehung zwischen den Nachwuchskräften und ihren Tutor:innen, die Vernetzungsaktivitäten der Mentees sowie der persönliche und berufliche Nutzen für alle Beteiligten. Die Datenerhebungen fanden begleitend zur 15-monatigen Dauer des Karriereförderprogramms statt. Damit erhielt die programmdurchführende Stelle regelmäßig Informationen über den Ablauf des Programms und die Qualität der Realisierung. Dieses Vorgehen ermöglichte eine frühzeitige Identifikation eventueller Probleme und eine zeitnahe Entwicklung geeigneter Maßnahmen, um diesen entgegenzuwirken.
Formative Evaluation der Konzeptentwicklung zur Bildungsoffensive Elbinseln 2011 & 2012/13
Im Auftrag der IBA & Hamburg GmbH führte das CEval eine formative Evaluation der Konzeptentwicklung zur „Bildungsoffensive Elbinseln“ (BOE) durch. Hauptziele des Teilprojektes der Internationalen Bauausstellung in Hamburg waren die Förderung der gesellschaftlichen Integration der Bewohner der Elbinseln sowie eine Stärkung des Wohnstandortes Elbinseln durch attraktive Bildungseinrichtungen.
Ziel der formativen Evaluation war die Beratung und Qualifizierung der eingesetzten Netzwerkmanager in den fünf zentralen IBA Bildungsprojekten. Konzepterarbeitung (insbesondere zur Sicherung der Nachhaltigkeit und zur Entwicklung einer gemeinsamen Kommunikationsstrategie), Monitoring der Entwicklung (inklusive der Etablierung eines selbständig von den IBA-Projekten fortführbaren Monitoringsystems) und Netzwerkarbeit in Form der Beteiligung an gemeinsamen Workshops sind die zentralen Aufgaben. Hierfür wurde ein Rahmenvertrag im Umfang von 45 Arbeitstagen geschlossen, der bis zum Abschluss der Internationalen Bauausstellung 2013 abgegolten werden sollte. Die ersten Workshops wurden im Mai und im August 2011 durchgeführt.
Evaluierung Hochschulbildung in Nicaragua und Südosteuropa 2005-2009
Gegenstand der Evaluation war die Maßnahmen zur Unterstützung des Hochschulsektors in den Schwerpunktländern der österreichischen Entwicklungszusammenarbeit (OEZA) in Südosteuropa (SOE) sowie Lateinamerika
(LA). Während der Fokus der OEZA in SOE auf arbeitsmarktorientierter Hochschulbildung und der Integration in den Europäischen Hochschul- und Forschungsraum liegt, wurden in LA vor allem Bildungsprojekte zur Stärkung von Minoritäten gefördert.
Aufgabe der Evaluation war es, die bisher erzielten Ergebnisse auf ihre Relevanz, Effektivität, entwicklungspolitische Wirksamkeit und Nachhaltigkeit hin zu untersuchen. Des Weiteren sollten die Capacity-Building Effekte bei den Partnerorganisationen sowie deren Ownership bewertet werden. Ausgehend von einer umfassenden
Dokumentenanalyse wurden hierfür im Rahmen dreier Feldstudien in Nicaragua, Serbien und dem Kosovo empirische Daten an den jeweiligen Standorten gesammelt und in einem Synthesebericht vergleichend
ausgewertet.
Ziel war es dabei insbesondere Optionen für zukünftige Interventionen, entsprechend den strategischen Zielsetzungen der OEZA in den Bereichen Hochschulbildung und Wissenschaftskooperation, im Sinne der Entwicklung eines kohärenten programmbasierten Ansatzes aufzuzeigen.
Evaluation der Mitarbeitergespräche 2010 der Aktien-Gesellschaft der Dillinger Hüttenwerke
Seit 2008 führt die Dillinger Hütte systematisch Mitarbeitergespräche (MAG) als Instrument der Mitarbeiterführung durch. Ziel der MAG ist es, zu einer stärkeren Fokussierung auf die Unternehmensziele, zur Erweiterung der Unternehmenskultur, zur Förderung der Mitarbeiter und Optimierung der unternehmensinternen Zusammenarbeit beizutragen.
Aufgabe des CEval im Rahmen der Evaluation war zum einen die Bewertung der Effektivität der MAG und zum anderen sollten verschiedene Gesprächselemente und die Verständlichkeit des Instruments insgesamt bewertet und geeignete Optimierungsmaßnahmen identifiziert werden.
Hierzu wurde vom CEval in Abstimmung mit der Dillinger Hütte eine standardisierte Online-Befragung der Mitarbeiter des Unternehmens über verschiedene Hierarchieebenen hinweg konzipiert und durchgeführt. Ergänzend wurden 20 leitfadengestützte Interviews mit verschiedenen Mitarbeitern des Unternehmens geführt.
Evaluation des Programms Bi-nationales Promotionsnetzwerk (PhD-Net)
Ziel des BMBF-geförderten DAAD-Programms „Bi-nationales Promotionsnetzwerk“ (PhD-Net) ist es, Kooperationen zwischen deutschen und ausländischen Hochschulen auf dem Gebiet der Doktorandenausbildung zu initiieren und zu fördern, um ausländischen Doktoranden grenzüberschreitende, binationale Promotionen zu ermöglichen und hochqualifizierte ausländische Nachwuchswissenschaftler für eine wissenschaftliche Karriere in Deutschland und/oder für den Aufbau wissenschaftlicher Kooperationsbeziehungen mit Deutschland zu gewinnen. Förderungsfähig sind dabei sowohl Anbahnungsreisen und Summer Schools als auch Promotionsprogramme.
Im Rahmen der Evaluationsstudie wurde die Zielerreichung und Wirksamkeit des PhD-Net-Programms untersucht. Aufgabe war es, sowohl die Erreichung der unmittelbaren Ziele, die sich direkt aus den drei Förderlinien ableiten lassen, zu ermitteln als auch eine Aussage über die Verwirklichung der mittel- und langfristigen Ziele auf institutioneller sowie individueller Ebene zu treffen. Ergänzend dazu sollte die Effizienz des Programms bewertet werden. Hierbei war zum einen zu analysieren, ob und inwieweit die Fördermaßnahmen sinnvoll aufgebaut waren, welche konkreten Maßnahmen innerhalb der Projekte durchgeführt wurden und welche Maßnahmen sich als besonders bzw. weniger effizient und wirksam im Hinblick auf die Zielerreichung erwiesen hatten. Zum anderen sollten die Programmadministration sowie die Programmdurchführung durch den DAAD und verwendete Monitoringinstrumente untersucht und bewertet werden.
Aus den dabei gewonnenen Erkenntnissen waren konkrete Schlussfolgerungen und Empfehlungen zur Weiterentwicklung des Förderprogramms „International promovieren in Deutschland“ (IPID) zu erarbeiten, welches eine derzeit geplante Laufzeit von 2010 bis 2013 hatte.
Evaluation des Projekts „AnschlussDirekt“
Gegenstand der Evaluation war das im Jahr 2010 durch das Ministerium für Wirtschaft und Wissenschaft des Saarlandes ins Leben gerufene und auf drei Jahre angelegte Projekt AnschlussDirekt. Im Rahmen des Projektes wurden Schülerinnen und Schüler mit einer positiven Hauptschulabschlussprognose in der Phase der Berufsorientierung und während der Ausbildungsplatzsuche intensiv betreut. Die Betreuung der Jugendlichen erfolgte in erster Linie durch die Mitarbeiter der Projektkoordinierungsstelle, aber auch – und dies ist die Besonderheit des Modellprojekts & durch ehrenamtlich agierende „Paten“ (Wirtschaftsexperten und Personalverantwortliche saarländischer Unternehmen). Ziel war es, den Anteil der Schülerinnen und Schüler zu erhöhen, die direkt im Anschluss an ihren Hauptschulabschluss eine betriebliche Ausbildung beginnen.
Aufgabe der begleitenden Evaluation war zunächst die Unterstützung beim Aufbau eines Monitoringssystems, in dem für das Projektmanagement steuerungsrelevante Daten erfasst und bedarfsgerecht abgerufen werden können.
Ergänzend hierzu wurden die Paten im Rahmen einer telefonischen Befragung zu ihren Eindrücken und Bewertungen hinsichtlich des Projekts und ihrer Beratungen befragt.
Des Weiteren bestand die Aufgabe der Evaluation darin, Projektwirkungen auf der Ebene der Zielgruppe zu erfassen. Hierzu wurden zu verschiedenen Zeitpunkten standardisierte Befragungen mit den am Projekt beteiligten Jugendlichen durchgeführt. Die Ergebnisse dieser Befragungen wurden mit eigens erhobenen Baselinedaten von Schülerinnen und Schüler, die nicht am Projekt teilnehmen, systematisch verglichen.
Aus den Evaluationsbefunden wurden regelmäßig Empfehlungen zur Projektoptimierung abgeleitet und der Projektkoordination zur Verfügung gestellt.
