Ex-Post Evaluation des Regional-Entwicklungsprogramms „La Malacateca“ in Guatemala
Von Oktober 1998 bis September 2012 setzte World Vision in der Gemeinde Malacatán in Guatemala ein Regional-Entwicklungsprogramm um. Das Programm umfasste vier Bereiche: Gesundheit, Bildung, wirtschaftliche Entwicklung und Patenschaften und hatte zum Ziel, die Lebenssituation der Familien zu verbessern. Drei Jahre nach Beendigung des Programms lies World Vision eine Ex-Post-Evaluierung durchführen, um die Nachhaltigkeit der erreichten Wirkungen zu überprüfen. Zu diesem Zweck arbeitete das Centrum für Evaluation mit einer lokalen guatemaltekischen Beratungsfirma (CONSULTA) an der Umsetzung einer quantitativen Haushaltsbefragung mit Kontrollgruppe und qualitativen Erhebungen mit der Zielgruppe und relevanten Schlüsselinformanten.
Begleitende Evaluation des Karriereförderprogramms „Talente sichern & Zukunft gestalten“ (2011-2012)
Das in 2011 in der dritten Phase laufende Programm „Talente sichern & Zukunft gestalten“ des Cusanuswerks & Bischöfliche Studienförderung setzte auf eine gezielte Förderung des weiblichen Führungsnachwuchses. Hierzu setzte das Programm auf Mentoring-Elemente & also eine tutorielle Betreuung von Stipendiatinnen deutscher Begabtenförderungswerke durch berufserfahrene Akademiker:innen & auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks. Neben überdurchschnittlichen Studienleistungen zeichneten sich die Stipendiatinnen dadurch aus, dass der Abschluss ihres Studiums bzw. ihrer Promotion in maximal einem Jahr anvisiert war oder dass sie Berufsanfängerinnen waren.
Zur Qualitätssicherung des Förderprogramms führte das CEval eine prozessbegleitende, externe Evaluation durch. Zentrale Aufgabe dieser Evaluation war es, den durchführungsverantwortlichen Mitarbeiter:innen des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen.
Methodisch umfasste die Evaluation standardisierte Online-Befragungen der Mentees und Mentorinnen zu drei Zeitpunkten. Im Zentrum des Interesses standen die Zufriedenheit mit dem Karriereförderprogramm, die Qualität der Beziehung zwischen den Nachwuchskräften und ihren Tutor:innen, die Vernetzungsaktivitäten der Mentees sowie der persönliche und berufliche Nutzen für alle Beteiligten. Die Datenerhebungen fanden begleitend zur 15-monatigen Dauer des Karriereförderprogramms statt. Damit erhielt die programmdurchführende Stelle regelmäßig Informationen über den Ablauf des Programms und die Qualität der Realisierung. Dieses Vorgehen ermöglichte eine frühzeitige Identifikation eventueller Probleme und eine zeitnahe Entwicklung geeigneter Maßnahmen, um diesen entgegenzuwirken.
Formative Evaluation der Konzeptentwicklung zur Bildungsoffensive Elbinseln 2011 & 2012/13
Im Auftrag der IBA & Hamburg GmbH führte das CEval eine formative Evaluation der Konzeptentwicklung zur „Bildungsoffensive Elbinseln“ (BOE) durch. Hauptziele des Teilprojektes der Internationalen Bauausstellung in Hamburg waren die Förderung der gesellschaftlichen Integration der Bewohner der Elbinseln sowie eine Stärkung des Wohnstandortes Elbinseln durch attraktive Bildungseinrichtungen.
Ziel der formativen Evaluation war die Beratung und Qualifizierung der eingesetzten Netzwerkmanager in den fünf zentralen IBA Bildungsprojekten. Konzepterarbeitung (insbesondere zur Sicherung der Nachhaltigkeit und zur Entwicklung einer gemeinsamen Kommunikationsstrategie), Monitoring der Entwicklung (inklusive der Etablierung eines selbständig von den IBA-Projekten fortführbaren Monitoringsystems) und Netzwerkarbeit in Form der Beteiligung an gemeinsamen Workshops sind die zentralen Aufgaben. Hierfür wurde ein Rahmenvertrag im Umfang von 45 Arbeitstagen geschlossen, der bis zum Abschluss der Internationalen Bauausstellung 2013 abgegolten werden sollte. Die ersten Workshops wurden im Mai und im August 2011 durchgeführt.
Gutachten zur Situation und Entwicklung des Marktes und der Kunden von BEST
20 Jahre BEST & Arbeitsorientierte Beratung, Bildung und Information im Saarland. Gegenstand der Untersuchung war die Beratungsstelle für sozialverträgliche Technologiegestaltung e.V. (BEST) der
Arbeitskammer des Saarlandes und des DGB Saar. BEST berät, qualifiziert und informiert seit 1989 in erster Linie
Betriebsräte, Personalräte und Mitarbeitervertretungen zu einem breiten Themenspektrum der menschengerechten
Gestaltung von Arbeit und Technik. Die Tätigkeit erfolgt in enger Abstimmung mit den Gewerkschaften mit einem Fokus auf
(arbeitswissenschaftlich) fundierte Problemlösungen. Das Einsatzgebiet von BEST ist in aller Regel das Saarland. Ziel
der Untersuchung war die Erstellung eines Gutachtens zur Situation und Entwicklung des Marktes und der Kunden von BEST
anlässlich des zwanzigjährigen Jubiläums der Beratungsstelle. Das Gutachten soll insbesondere
Zukunftsperspektiven für BEST aufzeigen, indem zukünftige, wesentliche Entwicklungsmöglichkeiten
sowie Themen- und Tätigkeitsfelder von BEST eruiert werden.
Zur Datengewinnung wurden im Rahmen der Studie Dokumentenanalysen und leitfadengestützte Intensivinterviews mit
verschiedenen Experten durchgeführt, die eine interne oder externe Perspektive auf den Untersuchungsgegenstand
wiedergeben sollten (Leitung und MitarbeiterInnen von BEST, Vertreter der tragenden Organisationen (Arbeitskammer, DGB Saar,
saarländische Landesregierung), Kunden, Verbandsvertreter, Arbeitgeber, saarländische Wissenschaftler, Vertreter
anderer Einrichtungen zur technischen Beratung in Deutschland sowie Belegschaftsmitglieder, die bisher keine Leistungen
von BEST in Anspruch genommen hatten).
Teilevaluierung des Stipendiatenprogramms des Vereins Freunde und Förderer der Villa Aurora
Seit 1995 vergibt der Verein „Kreis der Freunde und Förderer der Villa Aurora e.V.“, einer der kleineren Mittlerorganisationen der Auswärtigen Kultur- und Bildungspolitik mit Sitz in Berlin und Los Angeles, jährlich zwölf bis fünfzehn Stipendien an in Deutschland lebende und arbeitende Künstler für einen dreimonatigen Arbeitsaufenthalt in der Künstlerresidenz Villa Aurora in Los Angeles und führt zusammen mit lokalen Partnern Kulturveranstaltungen durch, die den Stipendiaten Gelegenheit geben, ihre Arbeiten zu präsentieren sowie Kontakte zu dortigen Künstlern und Institutionen aufzubauen.
Gegenstand der Evaluation war die Überprüfung der Qualität, Effizienz und Nachhaltigkeit der Vorbereitung der Stipendiaten durch die Berliner Geschäftsstelle sowie die Vor-Ort- und Nachbetreuung der Stipendiaten.
Methodisch basierte die Evaluation auf Dokumentenanalysen, standardisierten Befragungen aller ehemaliger Stipendiaten und Stipendiatinnen sowie Leitfadeninterviews mit den Verantwortlichen in Berlin und in Los Angeles und den derzeit in der Villa anwesenden Stipendiaten.
Zwischenevaluierung der Initiative „Schulen: Partner der Zukunft“ (PASCH)
Im Februar 2008 war die Initiative „Schulen: Partner der Zukunft“ (PASCH) von Außenminister Steinmeier ins Leben gerufen worden. Akteure des Programms waren neben dem Auswärtigen Amt die Zentralstelle für das Auslandsschulwesen, das Goethe-Institut, der Deutsche Akademische Austauschdienst sowie der Pädagogische Austauschdienst. Programmziel war, das weltweite Netzwerk von Partnerschulen mit verstärkter Deutschlandbindung auszubauen, um zukünftige Partner für die deutsche Wirtschaft, Politik, Wissenschaft, Bildung und Kultur zu gewinnen und den Wirtschaftsstandort Deutschland im Bildungswettbewerb zu stärken. Geographische Schwerpunkte des Programms waren die Wachstumsregionen Asien, Naher und Mittlerer Osten, GUS sowie Mittel- und Osteuropa.
Gegenstand der Zwischenevaluation war die Überprüfung der Effektivität, der Relevanz und der Effizienz der bisherigen Maßnahmen und eingesetzten Instrumente. Zudem sollten Hinweise zur Wirksamkeit und der zu erwartenden Nachhaltigkeit des Programms abgeleitet werden.
Methodisch basierte die Zwischenevaluierung auf Dokumentenanalysen und standardisierten Befragungen unterschiedlicher Schülergruppen. Zudem wurden in drei ausgewählten Ländern Länderfallstudien durchgeführt, in deren Rahmen Leitfadeninterviews mit Experten und Partnerschulen vor Ort geführt werden.
Evaluation der Sonderprogramme zum wissenschaftlichen Wiederaufbau in Südosteuropa der Alexander von Humboldt-Stiftung
Balkankriege und fortdauernde politische Spannungen hatten verheerende Auswirkungen für das Wissenschaftssystem in den neu entstandenen Staaten des ehemaligen Jugoslawiens. Damit verbunden waren auch Beeinträchtigungen in der gesamten Region Südosteuropa (SOE). Zur Förderung des Wiederaufbaus des Wissenschaftssystems in SOE hat die Alexander von Humboldt-Stiftung (AvH) neue Förderinstrumente entwickelt, für die im Bereich der Geistes- und Sozialwissenschaften von der Fritz Thyssen Stiftung und im Bereich der Natur- und Ingenieurwissenschaften vom Auswärtigen Amt finanzielle Mittel zur Verfügung gestellt wurden. Die Sonderprogramme zielen auf eine Förderung der wissenschaftlichen Vernetzung innerhalb der Region, die Wiederanbindung an die deutsche und internationale Forschungsgemeinschaft sowie die Förderung des wissenschaftlichen Nachwuchses.
Als Instrumente wurden in beiden Sonderprogrammen sog. Tandem-Wiedereinladungen an deutsche Forschungsinstitute & für erfahrene Humboldtianer in Begleitung eines Nachwuchswissenschaftlers & und die Finanzierung Regionaler Fachtagungen eingesetzt.
Aufgabe der summativen Evaluation war die durch die Sonderprogramme erreichten Wirkungen zu überprüfen und Einschätzungen zur Tauglichkeit der entwickelten Förderinstrumente im Hinblick auf die Verwendung in Krisenregionen im Allgemeinen abzugeben.
Methodisch basierte die Evaluation auf Dokumenten- und Sekundäranalysen für beide Förderinstrumente. Insbesondere Sekundäranalysen vorliegender Befragungsdaten der Geförderten und anderer Programmbeteiligter bildeten einen Schwerpunkt der Evaluation. Zur Klärung der Kontextbedingungen unter denen die Förderungen stattfanden erfolgten Internet- und Literaturrecherchen sowie Leitfaden gestützte Experteninterviews. Zur Erhebung von längerfristigen Programmwirkungen wurde für das Förderinstrument Tandem-Wiedereinladungen eine standardisierte Online-Befragung der geförderten Nachwuchswissenschaftler eingesetzt; für die Bewertung des Förderinstruments Regionale Fachtagungen wurden Leitfaden gestützte telefonische Interviews mit Organisatoren von Tagungen und weiteren Stakeholdern durchgeführt.
Evaluation von eCampus Saar – Bildungsinnovation durch Bildungstechnologien an den Hochschulen des Saarlandes
Gegenstand des Projekts „eCampus Saar – Bildungsinnovation durch Bildungstechnologien an den Hochschulen des Saarlandes -“ war einerseits der Ausbau des an der Universität des Saarlandes vorgehaltenen Learning Management Systems CLIX Campus zur Nutzung an der Hochschule für Musik Saar (HfM), der Hochschule der Bildenden Künste Saar (HBK) sowie der Hochschule für Technik und Wirtschaft des Saarlandes (HTW) sowie andererseits die Integration von bestehendem und die Entwicklung von neuen eLearning-Inhalten auch unter Nutzung neuer Web 2.0-Anwendungen und deren Einbindung in das Learning Management System CLIX Campus.
Im Rahmen dieses Projekts führte das CEval eine Sachstands- und Bedarfsanalyse durch. Diese zielte darauf ab, intersubjektiv überprüfbares Wissen über die Ausgangssituationen der Hochschulen im Hinblick auf den vorliegenden eLearning-Content, möglicherweise bereits genutzte Web 2.0-Dienste sowie im Einsatz befindliche Verwaltungs- und Learning Management Systeme zu erstellen. Methodisch wurde hierzu auf eine standardisierte Befragung aller ProfessorInnen der beteiligten Hochschulen sowie auf leitfadengestützte Interviews mit den strategisch und operativ Verantwortlichen der Hochschulen zurückgegriffen.
Arbeitsmarktpolitische Instrumente zur Beschäftigungssicherung älterer Arbeitnehmer und Arbeitnehmerinnen im Saarland
Das Bundesprogramm „Perspektive 50plus“ des Bundesministeriums für Arbeit und Soziales (BMAS) bildete das Dach für bundesweit 62 regionale Beschäftigungspakte zur beruflichen Wiedereingliederung älterer Langzeitarbeitsloser. Das Programm basierte auf einem regionalen Ansatz, der es den Beschäftigungspakten erlaubte, bei der Wahl der Integrationsstrategie gezielt auf die regionalen Besonderheiten einzugehen. Unterschiedliche Wege wurden beschritten, um älteren Langzeitarbeitslosen eine faire Chance am Arbeitsmarkt zu bieten.
Das Forschungsprojekt hatte zum Ziel, auf Basis von sekundäranalytischen Analysen regionale Beschäftigungspakte zu identifizieren, deren Maßnahmen und Konzepte im Hinblick auf die Situation am saarländischen Arbeitsmarkt als “best practice“ gelten können.
In Bezug auf diese Maßnahmen wurden leitfadengestützte Interviews mit relevanten Arbeitsmarktakteuren im Saarland und aus den identifizierten Pakten geführt, um Empfehlungen für die Übernahme und ggf. Anpassung erfolgsversprechender Maßnahmen und Konzepte ableiten zu können.
Begleitende Evaluation der Medienhilfe für Zentralasien 2009
Bei dem Projekt „Medienhilfe für Zentralasien 2009“ handelte es sich um ein Bündel von insgesamt 5 übergreifenden Trainings und 13 Inhouse-Trainings für zentralasiatische Radiosender, die in den beteiligten Ländern der Region sowie in Deutschland durch die Deutsche Welle-AKADEMIE realisiert wurden. Ausgangspunkt für die Zusammenarbeit der Radiostationen mit der Deutsche Welle-AKADEMIE waren Zielvereinbarungen. Diese Zielvereinbarungen nahmen für die Evaluation eine wichtige Rolle ein, da die Überprüfung der Zielerreichung als Aufgabe der Evaluation auf Basis der Zielvereinbarungen erfolgte. Hierzu wurden begleitende standardisierte Befragungen der Trainingsteilnehmer durchgeführt, deren Ergebnisse zeitnah an die Deutsche Welle-AKADEMIE übermittelt wurden. Ca. 4 bis 5 Monate nach Abschluss der Einzelmaßnahmen erfolgte eine summative Abschlussbefragung der beteiligten Sender, in der die Überprüfung des Erreichens der vereinbarten Ziele im Zentrum des Interesses stand.
