Entwicklung einer Evaluationskonzeption für das Smart City-Projekt LAND L(I)EBEN – digital.gemeinsam.vorOrt
Mit dem Smart-City-Modellprojekt „LAND L(i)EBEN – digital.gemeinsam.vorOrt“ arbeitet der Landkreis Kusel gemeinsam mit den Bürgerinnen und Bürgern an einer nachhaltigen und zukunftsfähigen Weiterentwicklung der Region. Mithilfe digitaler, innovativer und lokal angepasster Lösungen sollen unter anderem Mobilität, Gesundheitsversorgung, Bildung, gesellschaftliche Teilhabe und Lebensqualität im ländlichen Raum gestärkt werden. Das bis Ende 2027 laufende Projekt wird im Rahmen der Modellprojekte Smart Cities vom Bundesministerium für Wohnen, Stadtentwicklung und Bauwesen sowie der KfW gefördert.
CEval begleitet das Projektteam beratend bei der Entwicklung eines Projekt-Wirkungsgefüges, eines passenden Evaluationsansatzes und geeigneter Erhebungsinstrumente zur Selbstevaluation. Die Aufgaben des CEval werden im Projektverlauf sukzessive und bedarfsgerecht abgestimmt.
Untersuchung: Gelingensbedingungen für die Teilnahme an Informatikwettbewerben aus der Sicht von Lehrkräften
Die Bundesweiten Informatikwettbewerbe (BWINF) sind eine Initiative zur Förderung junger Informatiktalente in Deutschland. Das Angebot richtet sich an Kinder und Jugendliche vom Grundschulalter bis zum 21. Lebensjahr und reicht vom einstiegsfreundlichen Onlinewettbewerb Informatik-Biber über den Jugendwettbewerb Informatik bis hin zum anspruchsvollen Bundeswettbewerb Informatik. Letzterer ermöglicht die Qualifikation für die Internationale Informatik-Olympiade und bietet Bundessieger*innen gute Chancen auf Stipendien der Studienstiftung des deutschen Volkes. Durchgeführt werden die Bundesweiten Informatikwettbewerbe von der BWINF gGmbH, unterstützt von der Gesellschaft für Informatik e.V., dem Fraunhofer-Verbund IUK-Technologie und dem Max-Planck-Institut für Informatik. Maßgeblich gefördert wird BWINF durch das Bundesministerium für Bildung, Familie, Senioren, Frauen und Jugend. Zudem werden die Wettbewerbe von den Kultusministerien der Länder empfohlen und stehen unter der Schirmherrschaft des Bundespräsidenten.
Im Auftrag der BWINF gGmbH führt CEval nun eine Untersuchung der Gelingensbedingungen für die Teilnahme an Informatikwettbewerben aus der Sicht von Lehrkräften durch. Ziel ist es, Erkenntnisse zur Bekanntheit, Zugänglichkeit und konzeptionellen Passung der Wettbewerbe zu gewinnen und daraus Handlungsempfehlungen zu deren Optimierung abzuleiten.
Die Untersuchung verfolgt einen Mixed-Methods Ansatz, der qualitative und quantitative Instrumente und Analyseverfahren kombiniert. Die Datenerhebung erfolgt in zwei aufeinander aufbauenden Phasen: Dokumentenanalyse und leitfadengestützte Interviews dienen in der Konzeptionsphase der Präzisierung des methodischen Instrumentariums; anschließend erfolgt eine teilstandardisierte Online-Befragung von Informatik-Lehrkräften, welche den Kern der Datenerhebung darstellt.
Programmevaluierung von APPEAR III
Die CEval GmbH führte im Auftrag der Österreichischen Agentur für Bildung und Internationalisierung (OeAD) die Programmevaluation der dritten Phase des Programms „Austrian Partnership Programme in Higher Education and Research for Development“ (APPEAR III) durch. APPEAR ist ein Programm der Österreichischen Entwicklungszusammenarbeit, das von der Austrian Development Agency (ADA) konzipiert, geleitet und finanziert wurde, um die Strategie der Österreichischen Entwicklungszusammenarbeit zur Unterstützung der Hochschulbildung und Forschung für Entwicklung auf akademischer institutioneller Ebene in den Prioritätsregionen der ADA umzusetzen. Das von OeAD umgesetzte Programm befand sich im 15. Umsetzungsjahr, in dem mehr als 107 Projekte (Komponente 1) und 183 Stipendien (Komponente 2) durch verschiedene Förderinstrumente finanziert wurden. In der evaluierten Programmphase waren die teilnehmenden Institutionen in folgenden Ländern (ADA’s „Prioritätsländer“) angesiedelt: Albanien, Armenien, Österreich, Bhutan, Burkina Faso, Äthiopien, Georgien, Kosovo, Moldawien, Mosambik, Palästinensische Gebiete, Uganda und weitere („nicht prioritäre“) Länder.
Nach Auffassung des Auftraggebers der Evaluation ist APPEAR im Vergleich zu früheren Programmphasen in Bezug auf die Finanzierungsvorgaben immer komplexer geworden. Als Reaktion auf diese Komplexität wendete das Evaluationsteam einen theoriebasierten und partizipativen Ansatz an, bei dem sowohl qualitative als auch quantitative Evaluationsmethoden eingesetzt wurden. Während 42 Interviews und Fokusgruppendiskussionen die qualitative Datenbasis der Bewertung bildeten und ein tiefgehendes Verständnis kausaler Mechanismen und persönlicher Perspektiven auf das Programm ermöglichten, generierten zwei Online-Umfragen, die sich an 179 Programmbegünstigte richteten, quantitative Daten, die Muster und Zusammenhänge erkennen ließen, die aus den qualitativen Daten nicht hervorgingen. Darüber hinaus lieferte eine Vor-Ort-Datenerhebung in Armenien – als Teil von sechs Fallstudien – genaue Einblicke in die Programmumsetzung in einem der jüngsten Partnerländer von APPEAR.
Die Programmevaluation erfolgte nach den OECD-DAC-Evaluationskriterien Relevanz, Wirksamkeit und Effizienz und entsprach den Evaluationsprinzipien der ADA. Ihr Hauptzweck war es, eine Entscheidungsgrundlage für eine potenzielle vierte Phase des APPEAR-Programms zu schaffen.
Analyse der Kundenzufriedenheit mit den GATE-Germany Marketing Services
GATE-Germany wird aus Mitteln des Bundesministeriums für Forschung, Technologie und Raumfahrt (BMFTR) finanziert. Seit der Gründung im Jahr 2001 bedient der DAAD hiermit den steigenden Bedarf deutscher Hochschulen an Expertise und praktischen Dienstleistungen bei ihren internationalen Rekrutierungs- und Marketingaktivitäten. Das Angebot von GATE-Germany umfasst ein breites Portfolio von Marketinginstrumenten und weiteren Services. Gegenstand der Kundenzufriedenheitsanalyse sind die Dienstleistungen, die unter dem Oberbegriff „Marketing Services“ (MarS) angeboten werden.
Mit der Kundenzufriedenheitsanalyse sollen Erkenntnisse über die Nutzung und das Nutzungsverhalten der MarS durch die Hochschulen im zeitlichen Verlauf sowie zur Zufriedenheit der Hochschulen mit den MarS gewonnen werden. Auf Basis der gewonnenen Erkenntnisse werden Handlungsempfehlungen für eine kundenorientierte Optimierung und Weiterentwicklung der MarS entwickelt.
In methodischer Hinsicht wird ein Mix aus qualitativen und quantitativen Erhebungs- und Auswertungsmethoden miteinander kombiniert. Es werden eine umfassende Dokumenten- und Sekundärdatenanalyse, Leitfadeninterviews und Gruppendiskussionen sowie eine Online-Befragung realisiert.
Mitarbeitendenbefragung im Projekt rückenwind³: (Selbst)Führung mit FLOW – Freiraum für Lösungen, Organisation und Wandel
Der Caritasverband Saar-Hochwald e.V. ist ein Wohlfahrtsverband der katholischen Kirche und zuständig für die saarländischen Landkreise Merzig-Wadern und Saarlouis. Der Verband führt im Kontext des ESF-geförderten Programms „rückenwind³ – für Vielfalt, Wandel und Zukunftsfähigkeit in der Sozialwirtschaft“ das Projekt „(Selbst)Führung mit FLOW – Freiraum für Lösungen, Organisation und Wandel“ um. Ziel ist die Weiterentwicklung der Führungs- und Unternehmenskultur des Caritasverbandes unter Einbeziehung der Mitarbeitenden.
Im Rahmen des Projekts führt die CEval GmbH eine Mitarbeitendenbefragung durch, die eine validierte Analyse der Ausgangslage (Baseline) zu Führungskultur und Zusammenarbeit bereitstellen soll. Die Studie folgt einem partizipativen, theoriebasierten Ansatz und beruht auf einem Methoden-Mix. Kern der Erhebungen ist eine teilstandardisierte Online-Befragung aller Beschäftigten des Caritasverbands. Ergänzend werden Dokumente analysiert und explorative Interviews mit verschiedenen Stakeholdergruppen des rückenwind³-Projekts durchgeführt
Die Online-Befragung ist so konzipiert, dass sie im Projektverlauf für Folgeerhebungen eingesetzt werden kann, um anhand von Zeitreihendaten durch das rückenwind3-Projekt bewirkte Veränderungen identifizieren zu können. Die Ergebnisse der Baseline-Befragung fließen zudem in die inhaltliche Ausgestaltung des rückenwind³-Projekts.
Begleitende Evaluation des Projekts „Spielend stark“ – Mit Bewegung & gesunder Ernährung fit in die Schule
Das Projekt „Spielend stark“ – Mit Bewegung & gesunder Ernährung fit in die Schule – durchgeführt von der Saarländische Krebsgesellschaft e.V. in Kooperation mit der Techniker Krankenkasse – verfolgt das Ziel, Gesundheitsförderung im Sinne von regelmäßiger Bewegung und ausgewogener Ernährung nachhaltig im Alltag von Kindern zu verankern und dadurch eine gesunde Lebensweise sowie gesundheitliche Ressourcen von Kindern im Vorschulalter langfristig zu stärken. Diese Förderung gesunder Lebensgewohnheiten dient langfristig der Krebsprävention. Das Projekt richtet sich an Kindertagesstätten (Kitas) und bezieht neben den Vorschulkindern auch das pädagogische Fachpersonal sowie Eltern, Bezugspersonen und weitere Familienangehörige als zentrale Zielgruppen ein.
Das Projekt wird von der CEval GmbH im Rahmen einer Evaluation wissenschaftlich begleitet. Ziel der Evaluation ist es, die Qualität der Projektkonzeption und -umsetzung in der Pilotphase zu optimieren sowie in der anschließenden Rolloutphase Erkenntnisse zur Zielerreichung und Wirksamkeit zu gewinnen. Die Evaluation folgt einem partizipativen und theoriebasierten Ansatz und basiert auf einem Methodenmix aus quantitativen und qualitativen Verfahren. Grundlage hierfür ist ein auf die Projektspezifika angepasstes Evaluationskonzept. Die konkrete Operationalisierung, Datenquellen und methodischen Instrumente werden parallel zur Projektkonzeption im Projektverlauf entwickelt. So bleibt die Evaluation flexibel und wird passgenau an die Projektumsetzung angepasst.
Evaluation des Förderprogramms „Nachbarschaftsgespräche“
Die Allianz für Beteiligung e.V. ist ein Netzwerk, das sich für die Stärkung von Bürgerbeteiligung und zivilgesellschaftlichen Aktivitäten in Baden-Württemberg einsetzt. Seit 2018 setzt die Allianz für Beteiligung das vom baden-württembergischen Staatsministerium finanzierte Förderprogramm „Nachbarschaftsgespräche“ um. Es unterstützt zivilgesellschaftliche Initiativen bei der Umsetzung von Dialogformaten in kleinen Sozial-räumen Baden-Württembergs; seit 2018 wurden im Rahmen des Förderprogramms rund 100 Projekte gefördert.
Um aus der bisherigen Umsetzung zu lernen und das Programm entsprechend weiterentwickeln zu können, beauftragte die Allianz für Beteiligung die CEval GmbH mit einer Zwischenevaluation. Diese basierte auf der Auswertung von 60 Förderprojekten der zweiten und dritten Förderphase (2020-2025) und fokussierte auf die Aspekte Qualität, Wirksamkeit, Nachhaltigkeit und Fortentwicklungsmöglichkeiten des Programms.
Die Evaluation folgte einem theoriebasierten Ansatz und umfasste sowohl qualitative als auch quantitative Methoden der Datenerhebung und -auswertung: Dokumentenanalysen, leitfadengestützte Einzelinterviews, Fokusgruppendiskussionen und einen Online-Survey. Auf Basis der Befunde wurden Weiterentwicklungsmöglichkeiten des Förderprogramms identifiziert und Handlungsempfehlungen abgeleitet.
Evaluation des Projektes „Zeit für Kinderrechte“
„Zeit für Kinderrechte“ ist ein Projekt des Kinderschutzbundes Landesverband Schleswig-Holstein mit dem Ziel, Schüler*innen in ihren Kinderrechten und ihrer Selbstwirksamkeit zu stärken und so ihren Schutz zu erhöhen. In einem zweitägigen Schulworkshop werden Kinder der 3. und 4. Klasse über ihre Rechte aufgeklärt und erfahren, was sie tun können, wenn ihre Rechte nicht beachtet werden. Das Projekt wurde 2019 gestartet und wird seit 2020 durch das Ministerium für Bildung Schleswig-Holstein gefördert, unterstützt durch den Sparkassen- und Giroverband Schleswig-Holstein.
Die CEval GmbH wurde durch den Kinderschutzbund Landesverband Schleswig-Holstein e. V. mit der Zwischenevaluation des Projekts beauftragt. Ziel der Evaluation war es, die Qualität und Wirksamkeit des Projekts zu prüfen und potenzielle Entwicklungsbedarfe zu ermitteln.
Die Evaluation folgte einem partizipativen, theoriebasierten Ansatz und beruhte auf einem Methoden-Mix, der qualitative und quantitative Erhebungs- und Analyseverfahren kombinierte. Es wurden Dokumenten- und Sekundärdaten-Analysen, eine Online-Befragung sowie leitfadengestützte Gruppeninterviews mit Lehrenden und Schulsozialarbeiter*innen sowie Einzelinterviews mit Eltern, dem Bildungsministerium Schleswig-Holstein und Mitarbeiter*innen des Projekts realisiert. Zudem wurden alle Schüler*innen, die im Evaluationszeitraum an einem Workshop teilnahmen, mit einem kindgerechten standardisierten Fragebogen befragt.
Studie „Musikwirtschaft Saarland: Saarland als Standort für nationale und internationale Musikwirtschaft – Potenziale und Bedarfe“
Gegenstand der Studie ist die Musikwirtschaft im Saarland. Ziel ist es, ein differenziertes Bild der Branche zu zeichnen. Im Mittelpunkt stehen die Identifikation relevanter Akteur*innen, bestehender Strukturen und Formate zur Förderung, Promotion und Sichtbarkeit, Aus- und Weiterbildung sowie die regionale, nationale und internationale Vernetzung der saarländischen Musikwirtschaft. Darüber hinaus werden wirtschaftliche Potenziale sowie infrastrukturelle Bedarfe erfasst.
Methodisch basiert die Studie auf der sekundäranalytischen Auswertung vorhandener Daten und Studien, qualitativen Einzelinterviews, Fokusgruppen sowie einer teilstandardisierten Online-Befragung von in der Musikwirtschaft tätigen Berufsgruppen. Die Durchführung erfolgt in enger Abstimmung mit dem Auftraggeber. Die Ergebnisse dienen als Grundlage für ein Strategiepapier und einen praxisorientierten Leitfaden zur nachhaltigen Weiterentwicklung der Musikwirtschaft im Saarland.
Evaluation des Bundeswettbewerbs deutschsprachiger Schauspielstudierender
Der seit 1990 jährlich stattfindende Bundeswettbewerb deutschsprachiger Schauspielstudierender wird vom Bundesministerium für Bildung, Familie, Senioren, Frauen und Jugend (BMBFSFJ) gefördert und zielt darauf ab, hervorragende künstlerische Leistungen auszuzeichnen, den Austausch zwischen den deutschsprachigen Schauspielhochschulen Deutschlands, Österreichs und der Schweiz zu intensivieren und den Schauspielstudierenden den Übergang in die künstlerische Praxis zu erleichtern.
Zur Überprüfung der Zielerreichung, Effizienz und Wirtschaftlichkeit des Bundeswettbewerbs im Sinne einer Erfolgskontrolle gemäß Bundeshaushaltsordnung und zur Ableitung von Empfehlungen zur Optimierung des Wettbewerbs, hat die CEval GmbH im Auftrag des Veranstalters – die Europäische Theaterakademie GmbH „Konrad Ekhof“ Hamburg – die Bundeswettbewerbe der Jahre 2015 bis 2025 evaluiert.
Die Evaluation erfolgte theoriebasiert und entlang der OECD-DAC-Kriterien Relevanz, Effektivität und Effizienz. Die auf einem Methoden-Mix beruhende Evaluation stützte sich primär auf eine Online-Befragung der beteiligten Studierenden und Lehrenden. Ergänzt wurde diese quantitative Datenbasis durch quantitative sowie qualitative Sekundärdaten und Primärdaten aus leitfadengestützten (Gruppen-) Interviews sowie eine teilnehmende Beobachtung des Bundeswettbewerbs 2025 in Salzburg.