Programmevaluierung von APPEAR III
Die CEval GmbH führt derzeit im Auftrag der Österreichischen Agentur für Bildung und Internationalisierung (OeAD) die Programmevaluation der dritten Phase des Programms „Austrian Partnership Programme in Higher Education and Research for Development“ (APPEAR III) durch. APPEAR ist ein Programm der Österreichischen Entwicklungszusammenarbeit, das von der Austrian Development Agency (ADA) konzipiert, geleitet und finanziert wurde, um die Strategie der Österreichischen Entwicklungszusammenarbeit zur Unterstützung der Hochschulbildung und Forschung für Entwicklung auf akademischer institutioneller Ebene in den Prioritätsregionen der ADA umzusetzen. Das von OeAD umgesetzte Programm befindet sich derzeit im 15. Umsetzungsjahr, in dem mehr als 107 Projekte (Komponente 1) und 183 Stipendien (Komponente 2) durch verschiedene Förderinstrumente finanziert wurden. In der derzeit evaluierten Programmphase sind die teilnehmenden Institutionen in folgenden Ländern (ADA’s „Prioritätsländer“) angesiedelt: Albanien, Armenien, Österreich, Bhutan, Burkina Faso, Äthiopien, Georgien, Kosovo, Moldawien, Mosambik, Palästinensische Gebiete, Uganda und weitere („nicht prioritäre“) Länder.
Nach Auffassung des Auftraggebers der Evaluation ist APPEAR im Vergleich zu früheren Programmphasen in Bezug auf die Finanzierungsvorgaben immer komplexer geworden. Als Reaktion auf diese Komplexität wendet das Evaluationsteam einen theoriebasierten und partizipativen Ansatz an, bei dem sowohl qualitative als auch quantitative Evaluationsmethoden eingesetzt werden. Während bis zu 42 Interviews und Fokusgruppendiskussionen die qualitative Datenbasis der Bewertung bilden und ein tiefgehendes Verständnis kausaler Mechanismen und persönlicher Perspektiven auf das Programm ermöglichen, generieren zwei Online-Umfragen, die sich an 179 Programmbegünstigten richten, quantitative Daten, die Muster und Zusammenhänge erkennen lassen, die aus den qualitativen Daten möglicherweise nicht hervorgehen. Darüber hinaus liefert eine Vor-Ort-Datenerhebung in Armenien – als Teil von sechs Fallstudien – genaue Einblicke in die Programmumsetzung in einem der jüngsten Partnerländer von APPEAR.
Die Programmevaluation erfolgt nach den OECD-DAC-Evaluationskriterien Relevanz, Wirksamkeit und Effizienz und entspricht den Evaluationsprinzipien der ADA. Ihr Hauptzweck ist es, eine Entscheidungsgrundlage für eine potenzielle vierte Phase des APPEAR-Programms zu schaffen.
Analyse der Kundenzufriedenheit mit den GATE-Germany Marketing Services
GATE-Germany wird aus Mitteln des Bundesministeriums für Forschung, Technologie und Raumfahrt (BMFTR) finanziert. Seit der Gründung im Jahr 2001 bedient der DAAD hiermit den steigenden Bedarf deutscher Hochschulen an Expertise und praktischen Dienstleistungen bei ihren internationalen Rekrutierungs- und Marketingaktivitäten. Das Angebot von GATE-Germany umfasst ein breites Portfolio von Marketinginstrumenten und weiteren Services. Gegenstand der Kundenzufriedenheitsanalyse sind die Dienstleistungen, die unter dem Oberbegriff „Marketing Services“ (MarS) angeboten werden.
Mit der Kundenzufriedenheitsanalyse sollen Erkenntnisse über die Nutzung und das Nutzungsverhalten der MarS durch die Hochschulen im zeitlichen Verlauf sowie zur Zufriedenheit der Hochschulen mit den MarS gewonnen werden. Auf Basis der gewonnenen Erkenntnisse werden Handlungsempfehlungen für eine kundenorientierte Optimierung und Weiterentwicklung der MarS entwickelt.
In methodischer Hinsicht wird ein Mix aus qualitativen und quantitativen Erhebungs- und Auswertungsmethoden miteinander kombiniert. Es werden eine umfassende Dokumenten- und Sekundärdatenanalyse, Leitfadeninterviews und Gruppendiskussionen sowie eine Online-Befragung realisiert.
Mitarbeitendenbefragung im Projekt rückenwind³: (Selbst)Führung mit FLOW – Freiraum für Lösungen, Organisation und Wandel
Der Caritasverband Saar-Hochwald e.V. ist ein Wohlfahrtsverband der katholischen Kirche und zuständig für die saarländischen Landkreise Merzig-Wadern und Saarlouis. Der Verband führt im Kontext des ESF-geförderten Programms „rückenwind³ – für Vielfalt, Wandel und Zukunftsfähigkeit in der Sozialwirtschaft“ das Projekt „(Selbst)Führung mit FLOW – Freiraum für Lösungen, Organisation und Wandel“ um. Ziel ist die Weiterentwicklung der Führungs- und Unternehmenskultur des Caritasverbandes unter Einbeziehung der Mitarbeitenden.
Im Rahmen des Projekts führt die CEval GmbH eine Mitarbeitendenbefragung durch, die eine validierte Analyse der Ausgangslage (Baseline) zu Führungskultur und Zusammenarbeit bereitstellen soll. Die Studie folgt einem partizipativen, theoriebasierten Ansatz und beruht auf einem Methoden-Mix. Kern der Erhebungen ist eine teilstandardisierte Online-Befragung aller Beschäftigten des Caritasverbands. Ergänzend werden Dokumente analysiert und explorative Interviews mit verschiedenen Stakeholdergruppen des rückenwind³-Projekts durchgeführt
Die Online-Befragung ist so konzipiert, dass sie im Projektverlauf für Folgeerhebungen eingesetzt werden kann, um anhand von Zeitreihendaten durch das rückenwind3-Projekt bewirkte Veränderungen identifizieren zu können. Die Ergebnisse der Baseline-Befragung fließen zudem in die inhaltliche Ausgestaltung des rückenwind³-Projekts.
Begleitende Evaluation des Projekts „Spielend stark“ – Mit Bewegung & gesunder Ernährung fit in die Schule
Das Projekt „Spielend stark“ – Mit Bewegung & gesunder Ernährung fit in die Schule – durchgeführt von der Saarländische Krebsgesellschaft e.V. in Kooperation mit der Techniker Krankenkasse – verfolgt das Ziel, Gesundheitsförderung im Sinne von regelmäßiger Bewegung und ausgewogener Ernährung nachhaltig im Alltag von Kindern zu verankern und dadurch eine gesunde Lebensweise sowie gesundheitliche Ressourcen von Kindern im Vorschulalter langfristig zu stärken. Diese Förderung gesunder Lebensgewohnheiten dient langfristig der Krebsprävention. Das Projekt richtet sich an Kindertagesstätten (Kitas) und bezieht neben den Vorschulkindern auch das pädagogische Fachpersonal sowie Eltern, Bezugspersonen und weitere Familienangehörige als zentrale Zielgruppen ein.
Das Projekt wird von der CEval GmbH im Rahmen einer Evaluation wissenschaftlich begleitet. Ziel der Evaluation ist es, die Qualität der Projektkonzeption und -umsetzung in der Pilotphase zu optimieren sowie in der anschließenden Rolloutphase Erkenntnisse zur Zielerreichung und Wirksamkeit zu gewinnen. Die Evaluation folgt einem partizipativen und theoriebasierten Ansatz und basiert auf einem Methodenmix aus quantitativen und qualitativen Verfahren. Grundlage hierfür ist ein auf die Projektspezifika angepasstes Evaluationskonzept. Die konkrete Operationalisierung, Datenquellen und methodischen Instrumente werden parallel zur Projektkonzeption im Projektverlauf entwickelt. So bleibt die Evaluation flexibel und wird passgenau an die Projektumsetzung angepasst.
Evaluation des Förderprogramms „Nachbarschaftsgespräche“
Die Allianz für Beteiligung e.V. ist ein Netzwerk, das sich für die Stärkung von Bürgerbeteiligung und zivilgesellschaftlichen Aktivitäten in Baden-Württemberg einsetzt. Seit 2018 setzt die Allianz für Beteiligung das vom baden-württembergischen Staatsministerium finanzierte Förderprogramm „Nachbarschaftsgespräche“ um. Es unterstützt zivilgesellschaftliche Initiativen bei der Umsetzung von Dialogformaten in kleinen Sozial-räumen Baden-Württembergs; seit 2018 wurden im Rahmen des Förderprogramms rund 100 Projekte gefördert.
Um aus der bisherigen Umsetzung zu lernen und das Programm entsprechend weiterentwickeln zu können, beauftragte die Allianz für Beteiligung die CEval GmbH mit einer Zwischenevaluation. Diese basierte auf der Auswertung von 60 Förderprojekten der zweiten und dritten Förderphase (2020-2025) und fokussierte auf die Aspekte Qualität, Wirksamkeit, Nachhaltigkeit und Fortentwicklungsmöglichkeiten des Programms.
Die Evaluation folgte einem theoriebasierten Ansatz und umfasste sowohl qualitative als auch quantitative Methoden der Datenerhebung und -auswertung: Dokumentenanalysen, leitfadengestützte Einzelinterviews, Fokusgruppendiskussionen und einen Online-Survey. Auf Basis der Befunde wurden Weiterentwicklungsmöglichkeiten des Förderprogramms identifiziert und Handlungsempfehlungen abgeleitet.
Evaluation des Projektes „Zeit für Kinderrechte“
„Zeit für Kinderrechte“ ist ein Projekt des Kinderschutzbundes Landesverband Schleswig-Holstein mit dem Ziel, Schüler*innen in ihren Kinderrechten und ihrer Selbstwirksamkeit zu stärken und so ihren Schutz zu erhöhen. In einem zweitägigen Schulworkshop werden Kinder der 3. und 4. Klasse über ihre Rechte aufgeklärt und erfahren, was sie tun können, wenn ihre Rechte nicht beachtet werden. Das Projekt wurde 2019 gestartet und wird seit 2020 durch das Ministerium für Bildung Schleswig-Holstein gefördert, unterstützt durch den Sparkassen- und Giroverband Schleswig-Holstein.
Die CEval GmbH wurde durch den Kinderschutzbund Landesverband Schleswig-Holstein e. V. mit der Zwischenevaluation des Projekts beauftragt. Ziel der Evaluation war es, die Qualität und Wirksamkeit des Projekts zu prüfen und potenzielle Entwicklungsbedarfe zu ermitteln.
Die Evaluation folgte einem partizipativen, theoriebasierten Ansatz und beruhte auf einem Methoden-Mix, der qualitative und quantitative Erhebungs- und Analyseverfahren kombinierte. Es wurden Dokumenten- und Sekundärdaten-Analysen, eine Online-Befragung sowie leitfadengestützte Gruppeninterviews mit Lehrenden und Schulsozialarbeiter*innen sowie Einzelinterviews mit Eltern, dem Bildungsministerium Schleswig-Holstein und Mitarbeiter*innen des Projekts realisiert. Zudem wurden alle Schüler*innen, die im Evaluationszeitraum an einem Workshop teilnahmen, mit einem kindgerechten standardisierten Fragebogen befragt.
Studie „Musikwirtschaft Saarland: Saarland als Standort für nationale und internationale Musikwirtschaft – Potenziale und Bedarfe“
Gegenstand der Studie ist die Musikwirtschaft im Saarland. Ziel ist es, ein differenziertes Bild der Branche zu zeichnen. Im Mittelpunkt stehen die Identifikation relevanter Akteur*innen, bestehender Strukturen und Formate zur Förderung, Promotion und Sichtbarkeit, Aus- und Weiterbildung sowie die regionale, nationale und internationale Vernetzung der saarländischen Musikwirtschaft. Darüber hinaus werden wirtschaftliche Potenziale sowie infrastrukturelle Bedarfe erfasst.
Methodisch basiert die Studie auf der sekundäranalytischen Auswertung vorhandener Daten und Studien, qualitativen Einzelinterviews, Fokusgruppen sowie einer teilstandardisierten Online-Befragung von in der Musikwirtschaft tätigen Berufsgruppen. Die Durchführung erfolgt in enger Abstimmung mit dem Auftraggeber. Die Ergebnisse dienen als Grundlage für ein Strategiepapier und einen praxisorientierten Leitfaden zur nachhaltigen Weiterentwicklung der Musikwirtschaft im Saarland.
Evaluation des Bundeswettbewerbs deutschsprachiger Schauspielstudierender
Der seit 1990 jährlich stattfindende Bundeswettbewerb deutschsprachiger Schauspielstudierender wird vom Bundesministerium für Bildung und Forschung (BMBF) gefördert und zielt darauf ab, hervorragende künstlerische Leistungen auszuzeichnen, den Austausch zwischen den deutschsprachigen Schauspielhochschulen Deutschlands, Österreichs und der Schweiz zu intensivieren und den Schauspielstudierenden den Übergang in die künstlerische Praxis zu erleichtern.
Zur Überprüfung der Zielerreichung, Effizienz und Wirtschaftlichkeit des Bundeswettbewerbs im Sinne einer Erfolgskontrolle gemäß Bundeshaushaltsordnung und zur Ableitung von Empfehlungen zur Optimierung des Wettbewerbs, hat der Veranstalter – die Europäische Theaterakademie GmbH „Konrad Ekhof“ Hamburg – die CEval GmbH mit der Evaluation der Bundeswettbewerbe der Jahre 2015 bis 2025 beauftragt.
Die Evaluation ist entlang der OECD-DAC-Kriterien Relevanz, Effektivität und Effizienz strukturiert. Sie folgt einem theoriebasierten Ansatz und beruht auf einem Methoden-Mix. Primär stützt sich die Evaluation auf eine Online-Befragung der beteiligten Studierenden und Lehrenden. Ergänzt wird diese quantitative Datenbasis durch quantitative sowie qualitative Sekundärdaten und Primärdaten aus leitfadengestützten (Gruppen-) Interviews sowie eine teilnehmende Beobachtung des Bundeswettbewerbs 2025 in Salzburg.
Evaluierung des KIWI-Programms von CARE Deutschland e. V.
Das KIWI-Programm von CARE Deutschland e.V. verfolgt das primäre Ziel, Bildungslücken zu schließen und eine diversitätssensiblere sowie inklusivere Gesellschaft zu fördern. Das Programm richtet sich insbesondere an die Zielgruppe der Schüler*innen mit internationaler Geschichte, die Benachteiligung erfahren, sowie an pädagogische Fachkräfte. Das Programm unterstützt soziales und transkulturelles Lernen mittels Materialien, Fortbildungen für Lehrer*innen, Workshops für Schüler*innen, digitaler Fachaustausche sowie systemischer Prozessberatung der Schulen.
Die Evaluierung des KIWI-Programms hatte das Ziel, das Projektdesign und die Wirkung des Programms in der Förderperiode 2023–2025 zu analysieren. Im Fokus stand insbesondere die Untersuchung der Auswirkungen auf die Zielgruppen, vor allem auf Schüler*innen mit internationaler Geschichte. Darüber hinaus sollten Empfehlungen zur Weiterentwicklung des Projektdesigns erarbeitet werden, um die Effektivität und Wirkung des Programms zu steigern und dessen Passgenauigkeit für die Zielgruppen sicherzustellen.
Die Evaluierung basierte auf einem qualitativen Fallstudiendesign sowie auf einem Methodenmix aus quantitativer und qualitativer Datenerhebung und -auswertung. Sie umfasste die Analyse von Programmdokumenten und Sekundärdaten sowie die Erhebung von Primärdaten durch leitfadengestützte Expert*inneninterviews, Gruppendiskussionen mit Schulcoaches und Schüler*innen und eine teilstandardisierte Online-Befragung der Lehrkräfte. Die Datenerhebung erfolgte gemäß einem partizipativen Evaluationsansatz in enger Abstimmung mit den Auftraggebenden.
Evaluation des Förderprogramms „Quartiersimpulse“
Die Evaluation befasste sich mit dem Förderprogramm „Quartiersimpulse“ der Allianz für Beteiligung e.V. und des Ministeriums für Soziales, Gesundheit und Integration Baden-Württemberg. Das Programm ist seit 2018 Teil der Landesstrategie „Quartier 2030 – Gemeinsam.Gestalten“ und richtet sich an Kommunen in Baden-Württemberg. Im Programm werden Projekte mit dem Schwerpunkt alters- und generationengerechte Entwicklung in Quartieren durch Bürger- bzw. Bürgerinnenbeteiligung gefördert, die durch eine externe Beratung begleitet werden. Voraussetzung für eine Förderung ist die Zusammenarbeit sowohl mit zivilgesellschaftlichen Partnern als auch mit der kommunalen politischen Ebene.
Ziel der Mid-term-Evaluation war es, eine Zwischenbilanz zu ziehen und Optimierungspotenziale zur Weiterentwicklung des Programms zu identifizieren. Vor diesem Hintergrund war es Aufgabe der Evaluation, die Qualität der Programmumsetzung zu bewerten sowie die bislang erreichten Ziele und Wirkungen und die Vernetzung des Programms und daraus resultierende Synergieeffekte im Kontext der Landesstrategie zu erfassen. Auf Basis dieser Erkenntnisse wurden Empfehlungen zur Weiterentwicklung des Programms abgeleitet.
Die Evaluation basierte auf einem Multi-Methoden-Ansatz, der eine Dokumentenanalyse und eine quantitative Onlinebefragung mit qualitativen Erhebungen im Rahmen von Vor-Ort-Besuchen und virtuellen Interviews kombinierte.