Evaluation des Mentoring-Programms 2010 des „MentorinnenNetzwerks für Frauen in Naturwissenschaft und Technik“
Als Basis für eine fortlaufende Qualitätssicherung und -entwicklung der Angebote des „MentorinnenNetzwerks für Frauen in Naturwissenschaft und Technik“ erhielt das CEval den Auftrag, in Zusammenarbeit mit dem Hessischen Koordinierungsbüro ein Monitoring- und Evaluationssystem (M+E-System) für die Aktivitäten und Angebote des Netzwerks zu entwickeln und zu implementieren. Hierzu wurden im Jahr 2011 zwei Instrumente entwickelt, mittels derer die Teilnehmerinnen der jährlichen Mentoring-Programme (Mentorinnen und Mentees) künftig regelmäßig, in standardisierter Form zu relevanten Aspekten befragt werden. Die Auswertung und Analyse der erhobenen Daten dient sowohl der kontinuierlichen Prüfung und ggf. Optimierung der verschiedenen Aktivitäten als auch der jährlichen Rechenschaftslegung gegenüber den Mittelgebern.
Während diese M+E-Aktivitäten ab dem Jahr 2012 von den Mitarbeiterinnen des Hessischen Koordinierungsbüros in Eigenregie durch- bzw. fortgeführt werden, wurde 2011 (noch) das CEval mit der in einen Evaluationsbericht mündenden Auswertung der zum Mentoring-Programm 2010 erhobenen Daten beauftragt.
Grenzüberschreitende Koordination und Kooperation in interregionalen Organisationen am Beispiel Interregionaler Gewerkschaftsräte
Dieses Forschungsprojekt widmete sich der grenzüberschreitenden Zusammenarbeit von Gewerkschaften auf regionaler Ebene, indem es die historische Entwicklung sowie die Funktionsweisen und Problemlösungspotenziale des IGR Saar-Lor-Lux-Trier/Westpfalz vertiefend untersuchte und mit drei weiteren Interregionalen Gewerkschaftsräten verglich. Auf einem institutionalistischen Ansatz aufbauend, wurde in dem Forschungsprojekt ein theoretischer Rahmen entwickelt, der drei Faktorenbündel identifiziert, um vor dem Hintergrund der Entstehung, Entwicklung und Funktionsweise das Problemlösungspotenzial Interregionaler Gewerkschaftsräte zu erfassen: Die strukturelle Einbettung eines IGRs in unterschiedliche nationale Arbeitsmärkte und Wohlfahrtsregime, die Arbeitsbeziehungen und Gewerkschaftsstrukturen in den einzelnen Regionen sowie die interkulturelle Kommunikation und unterschiedliche Gewerkschaftskulturen zwischen den Gewerkschaften, die zusammen einen IGR bilden.
Evaluation des „Programms zur Förderung der Integration ausländischer Studierender“ (PROFIN)
Gegenstand der Evaluation war das BMBF-geförderte Programm zur Förderung der Integration ausländischer Studierender (PROFIN), das vom Deutschen Akademischen Austauschdienst (DAAD) in einer vierjährigen Förderlaufzeit von 2009 bis 2012 durchgeführt wurde. Der DAAD zielte mit PROFIN auf eine verbesserte Integration ausländischer Studierender in Hochschule und Gesellschaft durch Projekte an Hochschulen zur allgemeinen, fachlichen und sozialen Integration ab. Durch das Programm sollte auch ein Paradigmenwechsel im Verhältnis der deutschen Hochschule zu ihren ausländischen Studierenden erreicht werden: von der Betreuung zur Integration.
Im Rahmen der Evaluationsstudie wurde untersucht, ob die angestrebten Ziele des Programms erreicht wurden und welche Maßnahmen und Projekte sich als besonders erfolgreich und wirksam erwiesen haben. Zur Datengewinnung folgte das CEval einem „mixed-methods“ Ansatz. Dabei wurde eine vertiefende Analyse bereits vorhandener Dokumente vorgenommen und es wurden eigene Erhebungen (qualitative Leitfadeninterviews und standardisierte Onlinebefragungen) durchgeführt.Evaluation der Arbeit der Deutschen UNESCO-Kommission
Die UNESCO fordert von ihren Mitgliedsstaaten die Einrichtung nationaler Kommissionen, die zu einer effektiveren Ausgestaltung der Mitgliedschaft beitragen sollen. Dementsprechend hat die Bundesrepublik Deutschland die Deutsche UNESCO-Kommission e.V. (DUK) eingerichtet. Neben Beratungsaufgaben von Regierung und Parlament bearbeitet die DUK gemäß ihrer Satzung weitere Aufgaben wie bspw. die Mitwirkung an der Ausgestaltung der Mitgliedschaft Deutschlands in der UNESCO, die Förderung internationaler Verständigung, die Leistung eines Beitrags zur friedenssichernden Arbeit der UNESCO oder das Unterrichten der Öffentlichkeit über die Zwecke und die Arbeit der DUK.
Das Centrum für Evaluation (CEval) wurde mit der Evaluation der Arbeit der DUK beauftragt und bearbeitete dabei unterschiedliche Aufgabenstellungen. So wurde eine Bewertung der von der DUK erbrachten Beratungsleistungen für die Bundesregierung und das Parlament vorgenommen. Zudem wurden die Ziel- und Steuerungssysteme der DUK analysiert sowie die Arbeitsabläufe innerhalb der DUK einer Prozessanalyse unterzogen. Schließlich wurden unterschiedliche Programmbereiche wie die „Kontaktstelle kulturelle Vielfalt“, das Kooperationsprojekt mit afrikanischen Nationalkommissionen und die Aktivitäten der DUK im Zusammenhang mit den „UNESCO-Biosphärenreservaten“ evaluiert. Die Ziele der Evaluation leiteten sich aus ihren Aufgabenstellungen ab und bestanden unter anderem in der Entwicklung erkenntnisbasierter Empfehlungen zur Optimierung des Beitrags der DUK im Hinblick auf das Ziel der Bundesregierung, die Rolle Deutschlands in der UNESCO zu stärken und zur Optimierung der Zielerreichung der DUK. Zudem sollte die Evaluation zur Optimierung der Arbeitsabläufe hinsichtlich Wirtschaftlichkeit, Prozess- und Produktqualität, Wirksamkeit und Relevanz sowie zur Optimierung der Instrumente zur Erfolgsmessung, u.a. im Hinblick auf die Notwendigkeit der Rechenschaftslegung gegenüber dem Auswärtigen Amt, beitragen. Die Herangehensweise des CEval ist grundsätzlich theoriegeleitet. Mit Blick auf die Validität der Forschungsergebnisse waren für die Evaluationskonzeption sowohl theoretische Modelle als auch methodische Grundannahmen bedeutsam. Auf der theoretischen Ebene war im Hinblick auf den Evaluationsgegenstand vor allem das organisationstheoretische Wirkungsmodell von besonderem Interesse. Aus methodischer Sicht kamen ein Multimethodenansatz sowie der partizipative Evaluationsansatz des CEval zur Anwendung.MRE Netzwerk Hessen-Saarland: Schnittstellen in der Versorgung und ihre Überwindung durch Analyse, Wirkungsevaluation, und Einsatz neuer Lehr/Lerntechniken
Der Prävention vermeidbarer Infektionen im Gesundheitssystem kommt mit zunehmender Erkenntnis über die Bedingungen ihrer Entstehung und Ausbreitung ein legitimer und wachsender öffentlicher Anspruch zu. Mit dem Projekt wurde das Ziel verfolgt, durch ein über verschiedene Strukturen und Institutionen des Gesundheitssystems ausgerolltes Maßnahmen-Spektrum, unter Anwendung unterschiedlicher Methoden aus Infektionsmedizin, Lehr/Lerntheorie, differentieller Psychologie und Sozialwissenschaften, ein umfassendes Modell der integrativen, Sektor übergreifenden Intervention zur Prävention bakterieller Resistenzen und nosokomialer Infektionen in etablierten Regionalnetzwerken zu entwickeln. Diese für Deutschland neue, integrative Form der Versorgungsforschung sollte durch innovative Ansätze zur Infektions- und Resistenzprävention neue Erkenntnisse für deren Umsetzung im Rahmen allgemein anwendbarer Empfehlungen und Richtlinien liefern.
Das übergreifende Ziel des Projekts bestand darin, etablierte Verfahren und Maßnahmen zur Antibiotikakontrolle sowie zur Vermeidung von nosokomialen Infektionen in den bestehenden Netzwerken MRSAar/netz und MRE Rhein-Hessen weiterzuentwickeln und schwerpunktmäßig im nicht-akutstationären Bereich auszurollen.
Im interdisziplinären Forschungsprojekt unterstützte das CEval die Evaluation unterschiedlicher Informations- und Aufklärungsinterventionen durch sozialempirische Erhebungen und Analysen. Neben qualitativen Verfahren der Datenerhebung und -auswertung wurde für die Wirkungsanalyse auf quasi-experimentelle Untersuchungsanordnungen und entsprechende statistische Auswertungstechniken zurückgegriffen. Auf Grundlage der Synthese der infektionsepidemiologischen, biometrischen, sozialempirischen und differentialpsychologischen Befunde sollten Erkenntnisse mit Bedeutung für die praktische Umsetzung (z.B. in Richtlinien oder Empfehlungen zur Infektionsprävention und Antibiotikaversorgung) gewonnen werden.
Grenzüberschreitende Arbeitsmarktpolitik: Institutionen und institutionelle Steuerung des Arbeitsmarktes in der Großregion SaarLorLux
Der Arbeitsmarkt der Großregion SaarLorLux (Saarland, Lothringen, Luxemburg, Rheinland-Pfalz und Wallonie) ist durch umfangreiche grenzüberschreitende Pendlerströme geprägt. Nahezu 200.000 Berufspendler überqueren im Vierländereck täglich eine nationale Grenze auf dem Weg zu ihrer Arbeitsstelle (IBA 2009).
Die Öffnung der Märkte bedeutet für Grenzregionen wie den SaarLorLux-Raum neue Möglichkeiten, aber auch neue Schwierigkeiten hinsichtlich der aktiven Gestaltung dieses Marktes und seiner Rahmenbedingungen. Nationale Unterschiede der Arbeitsgesetzgebung, Lohngestaltung, Beschäftigungssicherung, Arbeitsplatzgestaltung etc. stellen sich zunehmend als komparative Standortvor- bzw. &nachteile dar, die grenzüberschreitende Pendelbewegungen der Arbeitskräfte bewirken und gleichzeitig auch Effekte auf die Verhandlungen der Arbeitgeber- und Arbeitnehmervertretungen sowie die Politik der betroffenen Regionen haben. Dabei werden die Handlungsmöglichkeiten der lokalen Akteure durch die nationalen Regelungen und Politiken begrenzt und eventuell sogar in Bezug auf eine rationale, koordinierte Gestaltung der Arbeitsbeziehungen innerhalb der Großregion behindert. Gleichzeitig erhöht sich auch der Druck auf die Akteure, die nun einen Interessenausgleich nicht nur innerhalb einer Nation sondern auch zwischen den Nationen zu suchen und zu einer gemeinsamen Arbeits- und Beschäftigungspolitik zu finden haben.
Ziel des Forschungsprojektes war es, transnationale Institutionen des Arbeitsmarkts der Großregion zu erfassen und hinsichtlich ihrer Funktionalität als politische Steuerungsgremien und zur Herausbildung einer grenzüberschreitenden Integration zu bewerten.
In einer ersten explorativen Projektphase wurden hierzu neben umfangreichen Sekundäranalysen Interviews mit ausgewählten Experten zur Situation des Arbeitsmarktes geführt. Auf Grundlage der dabei gewonnen Informationen wurde in der zweiten Phase unter Berücksichtigung einer netzwerktheoretischen Perspektive eine standardisierte Online-Befragung von Vertretern aller relevanten interregional tätigen Gremien des Arbeitsmarktes der Großregion durchgeführt.
Interregionale Arbeitsmarktbeobachtungsstelle (2009). Die Arbeitsmarktsituation in der Großregion. 6. Bericht der Interregionalen Arbeitsmarktbeobachtungsstelle an den 11. Gipfel der Exekutive der Großregion. Saarbrücken.
Ex-Post Evaluation des Regional-Entwicklungsprogramms „La Malacateca“ in Guatemala
Von Oktober 1998 bis September 2012 setzte World Vision in der Gemeinde Malacatán in Guatemala ein Regional-Entwicklungsprogramm um. Das Programm umfasste vier Bereiche: Gesundheit, Bildung, wirtschaftliche Entwicklung und Patenschaften und hatte zum Ziel, die Lebenssituation der Familien zu verbessern. Drei Jahre nach Beendigung des Programms lies World Vision eine Ex-Post-Evaluierung durchführen, um die Nachhaltigkeit der erreichten Wirkungen zu überprüfen. Zu diesem Zweck arbeitete das Centrum für Evaluation mit einer lokalen guatemaltekischen Beratungsfirma (CONSULTA) an der Umsetzung einer quantitativen Haushaltsbefragung mit Kontrollgruppe und qualitativen Erhebungen mit der Zielgruppe und relevanten Schlüsselinformanten.
Begleitende Evaluation des Karriereförderprogramms „Talente sichern & Zukunft gestalten“ (2011-2012)
Das in 2011 in der dritten Phase laufende Programm „Talente sichern & Zukunft gestalten“ des Cusanuswerks & Bischöfliche Studienförderung setzte auf eine gezielte Förderung des weiblichen Führungsnachwuchses. Hierzu setzte das Programm auf Mentoring-Elemente & also eine tutorielle Betreuung von Stipendiatinnen deutscher Begabtenförderungswerke durch berufserfahrene Akademiker:innen & auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks. Neben überdurchschnittlichen Studienleistungen zeichneten sich die Stipendiatinnen dadurch aus, dass der Abschluss ihres Studiums bzw. ihrer Promotion in maximal einem Jahr anvisiert war oder dass sie Berufsanfängerinnen waren.
Zur Qualitätssicherung des Förderprogramms führte das CEval eine prozessbegleitende, externe Evaluation durch. Zentrale Aufgabe dieser Evaluation war es, den durchführungsverantwortlichen Mitarbeiter:innen des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen.
Methodisch umfasste die Evaluation standardisierte Online-Befragungen der Mentees und Mentorinnen zu drei Zeitpunkten. Im Zentrum des Interesses standen die Zufriedenheit mit dem Karriereförderprogramm, die Qualität der Beziehung zwischen den Nachwuchskräften und ihren Tutor:innen, die Vernetzungsaktivitäten der Mentees sowie der persönliche und berufliche Nutzen für alle Beteiligten. Die Datenerhebungen fanden begleitend zur 15-monatigen Dauer des Karriereförderprogramms statt. Damit erhielt die programmdurchführende Stelle regelmäßig Informationen über den Ablauf des Programms und die Qualität der Realisierung. Dieses Vorgehen ermöglichte eine frühzeitige Identifikation eventueller Probleme und eine zeitnahe Entwicklung geeigneter Maßnahmen, um diesen entgegenzuwirken.
Formative Evaluation der Konzeptentwicklung zur Bildungsoffensive Elbinseln 2011 & 2012/13
Im Auftrag der IBA & Hamburg GmbH führte das CEval eine formative Evaluation der Konzeptentwicklung zur „Bildungsoffensive Elbinseln“ (BOE) durch. Hauptziele des Teilprojektes der Internationalen Bauausstellung in Hamburg waren die Förderung der gesellschaftlichen Integration der Bewohner der Elbinseln sowie eine Stärkung des Wohnstandortes Elbinseln durch attraktive Bildungseinrichtungen.
Ziel der formativen Evaluation war die Beratung und Qualifizierung der eingesetzten Netzwerkmanager in den fünf zentralen IBA Bildungsprojekten. Konzepterarbeitung (insbesondere zur Sicherung der Nachhaltigkeit und zur Entwicklung einer gemeinsamen Kommunikationsstrategie), Monitoring der Entwicklung (inklusive der Etablierung eines selbständig von den IBA-Projekten fortführbaren Monitoringsystems) und Netzwerkarbeit in Form der Beteiligung an gemeinsamen Workshops sind die zentralen Aufgaben. Hierfür wurde ein Rahmenvertrag im Umfang von 45 Arbeitstagen geschlossen, der bis zum Abschluss der Internationalen Bauausstellung 2013 abgegolten werden sollte. Die ersten Workshops wurden im Mai und im August 2011 durchgeführt.
Evaluierung Hochschulbildung in Nicaragua und Südosteuropa 2005-2009
Gegenstand der Evaluation war die Maßnahmen zur Unterstützung des Hochschulsektors in den Schwerpunktländern der österreichischen Entwicklungszusammenarbeit (OEZA) in Südosteuropa (SOE) sowie Lateinamerika
(LA). Während der Fokus der OEZA in SOE auf arbeitsmarktorientierter Hochschulbildung und der Integration in den Europäischen Hochschul- und Forschungsraum liegt, wurden in LA vor allem Bildungsprojekte zur Stärkung von Minoritäten gefördert.
Aufgabe der Evaluation war es, die bisher erzielten Ergebnisse auf ihre Relevanz, Effektivität, entwicklungspolitische Wirksamkeit und Nachhaltigkeit hin zu untersuchen. Des Weiteren sollten die Capacity-Building Effekte bei den Partnerorganisationen sowie deren Ownership bewertet werden. Ausgehend von einer umfassenden
Dokumentenanalyse wurden hierfür im Rahmen dreier Feldstudien in Nicaragua, Serbien und dem Kosovo empirische Daten an den jeweiligen Standorten gesammelt und in einem Synthesebericht vergleichend
ausgewertet.
Ziel war es dabei insbesondere Optionen für zukünftige Interventionen, entsprechend den strategischen Zielsetzungen der OEZA in den Bereichen Hochschulbildung und Wissenschaftskooperation, im Sinne der Entwicklung eines kohärenten programmbasierten Ansatzes aufzuzeigen.