Projekt-Kategorien: Gesellschaft & Soziales

Evaluation der „Richtlinie über die Belohnung erfolgreicher Präventionsarbeit bei den Mitgliedern der Unfallkasse Saarland“

Als Versicherungsträger der gesetzlichen Unfallversicherung für den öffentlichen Dienst setzt sich die Unfallkasse des Saarlandes (UKS) für die Verhütung von Berufskrankheiten, Gesundheitsgefahren am Arbeitsplatz und Arbeitsunfällen ein. Ein wichtiger Bestandteil der Präventionsarbeit besteht dabei in der Vergabe einer Prämie an Mitglieder, die den Arbeits- und Gesundheitsschutz erfolgreich in ihre betriebliche Organisation einbinden konnten und somit auf besonders wenige Aufwendungen durch die UKS angewiesen waren. Mit der zweckgebundenen Prämie werden nicht nur Bemühungen zum Gesundheits- und Arbeitsschutz honoriert, sondern auch Anreize zur Verbesserung der Präventionsarbeit gesetzt.

Im Rahmen der Überprüfung ihres Prämiensystems hatte die UKS das CEval mit der Evaluation der Richtlinie über die Belohnung erfolgreicher Präventionsarbeit bei ihren Mitgliedern beauftragt. Ziel des Beratungsprojekts war die Überarbeitung der kennzahlenbasierten Formel zur Ausschüttung innerhalb der Prämienklasse 1, die die 52 Städte und Kommunen des Saarlandes umfasst.

Evaluation des arbeitsweltbezogenen Demografie-Monitorings demowanda: Bedarfsorientiertes Coaching zur Durchführung einer Selbstevaluation

„Die Bundesanstalt (BAuA) für Arbeitsschutz und Arbeitsmedizin erforscht die Bedingungen und die Entwicklungen innerhalb der Erwerbsarbeit, um Arbeitnehmerinnen und Arbeitnehmer heute und in Zukunft bestmöglich zu schützen und zu fördern“. Unter anderem leitet die BAuA das Projekt Demografischer Wandel in der Arbeitswelt (demowanda). demowanda ist ein Demografie-Monitoringsystem, dessen Entwicklung vom Bundesministerium für Arbeit und Soziales beauftragt wurde.

Die BAua hat eine Selbstevaluation von demowanda – das Kollaborationsprojekt mit BiB, BIBB, DZA, IAB, RKI – durchgeführt. Gegenstand dieser Selbstevaluation durch die BAuA waren die Analyse und Bewertung des Verlaufs und der Zielerreichung sowie Wirksamkeit des Projektes demowanda.

Die BAuA hat die CEval GmbH mit der wissenschaftlichen Begleitung der Selbstevaluation beauftragt. Im Rahmen der Evaluationsbegleitung wurden bedarfsorientierte Coachings und Trainings der beteiligten Mitarbeiter:innen durchgeführt. Hierdurch konnten die bereits vorhandenen Evaluationskenntnisse systematisch erweitert werden. Zugleich wurde die konzeptionelle und methodische Qualität der Selbstevaluation durch eine enge Begleitung aller konzeptionellen Schritte gesichert.
Das Coaching umfasste telefonische und Vor-Ort-Beratungen, Inhouse-Schulungen und Workshops sowie Unterstützung bei der Erstellung evaluationsrelevanter Unterlagen und Dokumente und deren Qualitätssicherung.

Entwicklung von Indikatoren zur Dienstleistungsqualität, zur fachlichen Qualität und zur Produktivität

Der Medizinische Dienst der Krankenkasse (MDK) Baden-Württemberg ist ein organisatorisch selbständiger und fachlich unabhängiger sozialmedizinischer Beratungs- und Begutachtungsdienst der gesetzlichen Kranken- und Pflegeversicherung. Im Auftrag der gesetzlichen Krankenkassen erstellt der MDK an 18 Standorten in Baden-Württemberg jährlich etwa 1,6. Mio. Gutachten. Unter Mitwirkung der operativen Fachbereichsleitungen, des Personalrats sowie der Fachbereiche Controlling und Qualitätsmanagement plante der MDK die Einführung eines Monitoringsystems zur Überprüfung seiner Dienstleistungsqualität, seiner fachlichen Qualität und seiner Produktivität. Das CEval begleitete diesen Prozess und beriet das MDK bei der Einrichtung eines geeigneten Monitoringsystems sowie der Entwicklung von Qualitätsindikatoren.

Evaluation des Deutschen Partnerschaftsprogramms für Biosicherheit und Gesundheitssicherstellung

Das Deutsche Partnerschaftsprogramm für Biologische Sicherheit und Gesundheitssicherstellung wurde durch das Auswärtige Amt (AA) im Jahr 2013 ins Leben gerufen. Es fügt sich in die „G7 Globale Partnerschaft gegen die Verbreitung von Massenvernichtungswaffen und -materialien“ ein. Das Programm wurde im Auftrag des AA durch das Robert Koch-Institut (RKI) und die Gesellschaft für Internationale Zusammenarbeit (GIZ) entwickelt. Für das Programm wurden folgende Ziele formuliert: (1) Missbrauch von biologischen Agenzien und Erregern vorbeugen; (2) Kontrolle von biologischen Sicherheitsrisiken verbessern; (3) Ausbreitung von gefährlichen Agenzien und Erregern eindämmen; (4) Nationale Gesundheitskapazitäten in Partnerländern stärken; (5) Deutsche Expertise zur Abwehr biologischer Risiken erhöhen; (6) Internationale Kooperationen deutscher Institute nachhaltig stärken. Zum Erreichen dieser Ziele fokussiert das Partnerschaftsprogramm auf folgende Schwerpunkte: Surveillance, Detektion und Diagnostik, Biosafety und Biosecurity, Awareness Raising & Sensibilisierung, Vernetzung.

Die CEval GmbH wurde durch das AA mit der Durchführung einer externen Evaluation beauftragt. Die Ziele der Evaluation waren die Untersuchung der Arbeitsweise, Planung, Durchführung sowie Resultate bei den beteiligten Institutionen, die Analyse der Zusammenarbeit mit internationalen Partnern und die Überprüfung der Zielerreichung. Auf Basis der Ergebnisse wurden Entscheidungshilfen zur Nachsteuerung/Neuorientierung der Programmaktivitäten für die derzeit in Planung befindliche zweite Programmphase 2016-2019 generiert.

Die Evaluation erfolgte nach den OECD/DAC-Evaluierungskriterien: Relevanz, Effektivität, Effizienz, Impact und Nachhaltigkeit. Ergänzend dazu wurden die Kriterien Koordination, Komplementarität und Kohärenz untersucht.
Seit Programmstart wurden 17 Projekte in mehr als 20 Ländern umgesetzt. Im Rahmen der Evaluation wurde der Schwerpunkt auf eine Analyse und Bewertung der Aktivitäten der Partner in den folgenden vier Ländern gelegt: RKI+GIZ: Sudan, BNI: überregionales Projekt GIBACHT, FLI: Kamerun, IMBw: Kasachstan. Hierzu erfolgten jeweils dreitägige Länderfallstudien vor Ort, in deren Rahmen Datenerhebungen durch ein interdisziplinäres Gutachterteam bei den für die Konzeption und Umsetzung der Projekte Verantwortlichen erfolgten. Zur Datenerhebung wurden Dokumentenanalysen, leitfadengestützte Interviews, Fokusgruppen (Gruppendiskussionen) sowie Begehungen und Beobachtung eingesetzt.

Evaluierung der §§20a und b PolG NRW

Gegenstand dieses Projekts war die wissenschaftliche Begleitung der Evaluierung der §§ 20a und b des Polizeigesetzes Nordrhein-Westfalen (PolG NRW), welche am 01. Juli 2013 in Kraft traten. Sie wurden eingeführt zur Neuregelung des landesrechtlichen Auskunftsanspruchs der Polizei über Telekommunikations- und Telemediendaten und der Datenerhebung mit eigenen technischen Mitteln. Im Gesetz wurde verankert, dass die Auswirkungen dieser Vorschrift und die praktische Anwendung (…) nach einem Erfahrungszeitraum von drei Jahren durch die Landesregierung unter Mitwirkung einer oder eines unabhängigen wissenschaftlichen Sachverständigen geprüft (werden)(§20a Absatz 7 Satz 1).

Diese gesetzliche Neuregelung betrifft eine in der Politik und Öffentlichkeit immer wieder intensiv diskutierte Frage. So ist es einerseits Aufgabe der Polizei (nicht nur in) NRW, die innere Sicherheit im Land zu gewährleisten und sie ist daher mit allen Befugnissen auszustatten, die sie zur Erfüllung dieser Aufgabe benötigt. Andererseits argumentieren Datenschützer, dass gerade die Telekommunikations- und Telemediendaten einen sehr sensiblen Bereich der individuellen Privatsphäre darstellen, des es so weitreichend wie möglich zu schützen gilt. Aus diesem Grund sollte durch die neuen Normen ein klarer Handlungsrahmen geschaffen werden, der sowohl Polizei als auch Dienstanbietern im Bereich Telekommunikation Rechtssicherheit verschafft. Das CEval war im Rahmen der Evaluation insbesondere für die Konkretisierung und Operationalisierung der leitenden Fragestellungen, die Identifizierung geeigneter Indikatoren und die Entwicklung eines geeigneten Evaluationsdesigns und der Erhebungsinstrumente zuständig und unterstützte bei der Datenerhebung. Auch die Analyse der Daten und die Berichtsfertigung erfolgten unter der Federführung des CEval.

Methodisch wurden sowohl leitfadengestützte Interviews, Fokusgruppendiskussionen als auch standardisierte Befragungen durchgeführt, um so Aussagen über durch die Einführung des Gesetzes bewirkte Veränderungen in den Prozessabläufen und die Auswirkungen der Neuregelung zu generieren und Empfehlungen für die Weiterentwicklung des Gesetzes abzuleiten.

Studie „Gute Arbeit im Vollzug & eine Studie zu Arbeitsbedingungen und Gesundheit im saarländischen Justizvollzug“

Im Jahr 2011 war der Justizvollzug im Saarland einer Strukturreform unterzogen worden, die unter anderem mit einer Schließung von Teilanstalten einhergegangen war. Vor dem Hintergrund der seitherigen Veränderungen war es Aufgabe der Studie, die Auswirkungen auf Arbeitsbedingungen, Arbeitsmotivation und Gesundheit der Beschäftigten des saarländischen Justizvollzugs zu analysieren. Auf Basis der Untersuchungsergebnisse sollten Empfehlungen zur Optimierung der Veränderungsprozesse abgeleitet und geeignete Maßnahmen für ein nachhaltiges anstaltsspezifisches Arbeits- und Gesundheitsmanagement aufgezeigt werden.

Die Datengewinnung basierte auf einem „mixed-methods“-Ansatz, d.h. es erfolgte eine vertiefende Analyse bereits vorhandener Dokumente und Daten und es wurden Daten im Rahmen von qualitativen Befragungen (Leitfadeninterviews und Fokusgruppen) und einer quantitativen Befragung der Mitarbeiter:innen des saarländischen Justizvollzugs erhoben und ausgewertet.

Evaluation des Mitarbeitergesprächs 2014 der Saarstahl AG

Im Jahr 2013 führte die Saarstahl AG auf Wunsch der Führungskräfte systematische Mitarbeitergespräche (MAG) als Instrument der Mitarbeiterführung ein. Dieses partnerschaftliche, anlassunabhängige Vieraugengespräch wird nun jährlich zwischen Mitarbeitern mit Führungsverantwortung und deren Vorgesetzten durchgeführt, um eine verbesserte Ausrichtung auf die Ziele des Unternehmens und die Unternehmenskultur zu erreichen und eine Förderung der Mitarbeiter und Verbesserung der Zusammenarbeit innerhalb des Unternehmens zu realisieren.

Die Aufgabe der Evaluation des MAG 2014 war es zu prüfen, ob das MAG auch im zweiten Jahr erfolgreich von MitarbeiterInnen wie Führungskräften aufgenommen wird und ob erste Trends in der Akzeptanz und Umsetzung des MAG identifiziert werden können.
Ein besonderer Fokus lag dabei auf der Vorbereitung der Mitarbeiter auf das Gespräch (Schulungen, Materialien), die Umsetzung und Kommunikation von Zielvereinbarungen sowie Förder- und Entwicklungsmaßnahmen und der generellen Handhabbarkeit des Instruments hinsichtlich Inhalt und Struktur.

Darüber hinaus galt es zu bewerten, inwieweit das MAG als sinnvolles Instrument der Mitarbeiterführung angesehen wird und ob dadurch eine Verbesserung der Führungskultur im Unternehmen Saarstahl erreicht werden konnte. Ziel war es, das MAG in seiner gegenwärtigen Form zu bewerten und ggf. Optimierungspotenziale zu identifizieren.
Hierzu wurde von der CEval GmbH in Abstimmung mit der Saarstahl AG eine standardisierte Online-Befragung der MitarbeiterInnen des Unternehmens über verschiedene Hierarchieebenen hinweg konzipiert und durchgeführt. Die im Rahmen der Evaluation erhobenen quantitativen Daten wurden dann im Rahmen der Berichtslegung unter Einbezug der Daten der MAG-Evaluation 2013 in einer Längsschnittanalyse ausgewertet.

Evaluation der Mitarbeitergespräche 2013 der Saarstahl AG

Im Jahr 2013 führte die Saarstahl AG auf Wunsch der Führungskräfte systematische Mitarbeitergespräche (MAG) als Instrument der Mitarbeiterführung ein. Dieses partnerschaftliche, anlassunabhängige Vieraugengespräch wird nun jährlich zwischen Mitarbeiter:innen mit Führungsverantwortung und deren Vorgesetzten durchgeführt, um eine verbesserte Ausrichtung auf die Ziele des Unternehmens und die Unternehmenskultur zu erreichen und eine Förderung der Mitarbeiter:innen und Verbesserung der Zusammenarbeit innerhalb des Unternehmens zu realisieren.

Die Aufgabe der Evaluation des MAG 2013 war es zu prüfen, ob die Einführung des MAG erfolgreich verlaufen ist. Besonderer Fokus lag dabei auf der Vorbereitung der Mitarbeiter:innen auf das Gespräch (Schulungen, Materialien) sowie auf der Handhabbarkeit des Instruments hinsichtlich Inhalt und Struktur. Darüber hinaus galt es zu bewerten, inwieweit das MAG als sinnvolles Instrument der Mitarbeiterführung angesehen wird und ob dadurch eine Verbesserung der Führungskultur im Unternehmen Saarstahl erreicht werden konnte. Ziel war es, das MAG in seiner gegenwärtigen Form zu bewerten und ggf. Optimierungspotenziale zu identifizieren.

Hierzu wurde von der CEval GmbH in Abstimmung mit der Saarstahl AG eine standardisierte Online-Befragung der Mitarbeiter:innen des Unternehmens über verschiedene Hierarchieebenen hinweg konzipiert und durchgeführt. Im Vorfeld dazu wurden leitfadengestützte Interviews unter anderem mit für die Implementierung verantwortlichen Personen sowie mit ausgewählten Mitarbeiter:innenn unterschiedlicher Hierarchieebenen des Unternehmens geführt.

Unterstützung der Qualitätssicherungsprozesse des SIAP

Das Saarländische Institut zur Aus- und Weiterbildung in Psychotherapie (SIAP) wurde 1995 gegründet und gehört zur Saarland Heilstätten GmbH (SHG). Das Institut ist eine staatlich anerkannte Ausbildungsstätte unter anderem für Psychologische Psychotherapeut:innen und Kinder- und Jugendpsychotherapeut:innen.

Aufgabe der seitens des SIAP beauftragten Beratung, die auch eine Evaluation einschloss, war es für die beiden Ausbildungen a) Verbesserungspotentiale innerhalb der Ausgestaltung der Ausbildung aufzudecken und b) zur Qualitätssicherung der Kurse einen Fragebogen zu entwickeln.

Dafür wurden neben einer vertiefenden Analyse vorhandener Akten, Programmdokumente und der einschlägigen Literatur vor allem Leitfaden- und Gruppeninterviews mit den Ausbildungsteilnehmern (aus unterschiedlichen Ausbildungsstufen), den Praxisanleitern, den Dozenten und Supervisoren & und damit mit allen an der Ausbildung beteiligten Akteuren & durchgeführt.

Besonders im Fokus stand dabei die Frage, inwieweit die Ausbildungsabsolventen durch Optimierungen der Ausbildungsprozesse entlastet und gleichzeitig zielgerichteter auf eine Tätigkeit in der therapeutischen Praxis vorbereitet werden können. Alle Daten wurden einer synergetischen Datenauswertung unterzogen und mündeten in einem kurzen Evaluationsbericht inklusive Empfehlungen zur Weiterentwicklung der Ausbildung.

Daran anschließend wurde ein Fragebogen zur fortlaufenden Qualitätssicherung der Ausbildungskurse entwickelt, in den neben den Ergebnissen aus der Literaturanalyse die Erkenntnisse aus den qualitativen Interviews einflossen. Damit die Datenerhebungen sowie deren Auswertung von den Mitarbeitern des Instituts auch nach Beendung des Evaluationsprojekts in Eigenregie erfolgen können, wurde im Rahmen des Vorhabens zusätzlich ein Leitfaden entwickelt.

Externe Auditierung im Rahmen der Vergabe des Qualitätssiegels „Fanprojekt nach dem Nationalen Konzept Sport und Sicherheit“

In Deutschland existiert in Form von Fanprojekten ein dichtes bundesweites Netzwerk von Einrichtungen der Sozialen Arbeit mit jugendlichen Fußballfans, die nach den Rahmenbedingungen und Vorgaben des Nationalen Konzepts Sport und Sicherheit arbeiten (NKSS). Zu Zwecken der Qualitätssicherung und der kontinuierlichen Verbesserung der Arbeit der Fanprojekte wurde 2010 das Qualitätssiegel ‘Fanprojekt nach dem NKSS‘ eingeführt. Dieses soll zu einer verbesserten Wahrnehmung der Fanprojekte beitragen und den Fanprojekten Handlungssicherheit bieten. Das Qualitätssiegel ist 2012 in das überarbeitete NKSS aufgenommen worden und damit auf hoher politischer Ebene anerkannt. Vergeben wird das Qualitätssiegel von der Arbeitsgruppe Qualitätssicherung, in welcher Akteure aus dem Fußball, der obersten Landes- und Familienbehörden, der Wissenschaft sowie der Fanprojekte vertreten sind.

Das Vergabeverfahren des Qualitätssiegels sollte sowohl aus inhaltlicher als auch aus prozeduraler Perspektive überarbeitet werden, um ein Siegel zu schaffen, das ein valides Zeichen für die Güte und Qualität eines Projektes ist. Das Vergabeverfahren soll möglichst objektiv gestaltet sein und Transparenz über die Gründe für eine Vergabe oder auch Nicht-Vergabe des Siegels sichern. Im Rahmen der Überarbeitung des Siegels war es daher Aufgabe des Centrums für Evaluation (CEval), einen Kriterienkatalog sowie einen standardisierten Erhebungsbogen zu entwickeln. Darüber hinaus erarbeitete das CEval in Absprache mit den Partnern ein Konzept für die Umsetzung einer Pilotphase, in der das überarbeitete Qualitätssiegel und dessen Vergabeprozess auf ihre Praxistauglichkeit geprüft wurden. Die Pilotphase wurde mit fünf ausgewählten Fanprojekten umgesetzt. Auf Basis der Erkenntnisse und Erfahrungen der Pilotphase wurden das Konzept und die Instrumente finalisiert.