Praxis-Impact II: Weiterentwicklung und Erprobung eines Konzeptes zur Dokumentation und Evaluierung von Leistungen der Agrarforschung für Praxis und Gesellschaft
Kooperationspartner: Universität Kassel, Fachbereich Ökologische Agrarwissenschaft, Fachgebiet Ökologischer Land und Pflanzenbau
Die etablierte Forschungsevaluierung erfasst vornehmlich den wissenschaftlichen Impact und nutzt dafür Indikatoren wie begutachtete Publikationen, zitationsbasierte Indikatoren und Drittmittel. Damit wird jedoch nur unzureichend erfasst, inwieweit Beiträge zur Lösung gesellschaftlich relevanter Probleme geleistet und ein Nutzen für Praxis und Gesellschaft generiert werden. Gerade die Agrarforschung hat hier jedoch ein wichtiges Tätigkeitsfeld, das angesichts der Herausforderungen Klimawandel, Ernährungssicherung und Ressourcenverknappung künftig noch stark an Bedeutung gewinnen wird. Dieses Forschungsprojekt sollte dazu beitragen, die Evaluierung der Agrarforschung grundsätzlich um eine Bewertung der Leistungen für Praxis und Gesellschaft zu erweitern.
Die Forschungsarbeiten bauten auf den zahlreichen bestehenden Evaluierungskonzepten auf. Diese umfassen sowohl die Aktivitäten der Forschung, die einen Impact wahrscheinlich machen (z.B. Vorträge, Workshops, Praxispublikationen), als auch eine Erfassung des tatsächlichen Impacts. Hindernisse für eine breitere Etablierung dieser Konzepte bestehen jedoch bisher hinsichtlich des Aufwandes für die Datenerfassung.
Kernziel des Projektes war die Entwicklung eines auf die Agrarforschung abgestimmten, erprobten und anschlussfähigen Dokumentations- und Evaluierungskonzeptes. Dieses sollte so breit angelegt sein, dass die gesamte Agrarforschung damit abgedeckt werden kann, um die Nutzung für verschiedene Evaluierungsgegenstände (Wissenschaftler, Projekte, Programme, Institutionen) zu gewährleisten. Die Dokumentation soll einen hohen Nutzwert für die Verwendung in der Antragsstellung und Berichterstattung haben, um durch Synergieeffekte den Dokumentationsaufwand für die Wissenschaftler nicht zu erhöhen. Erstellt wurden strukturierte Dokumentationsvorlagen, die für die technische Umsetzung in einem Datenbanksystem ausgereift sind, sowie Analyse- und Bewertungsraster. Die Entwicklung und Erprobung erfolgte anhand realer Forschungsprojekte, in welche jeweils drei Perspektiven dokumentierende Wissenschaftler, Forschungsförderung und Evaluation & eingebunden waren. Ferner engagierte sich das Projekt darin, mit der der Agrarforschung und relevanten Akteuren und Experten umsetzbare und akzeptierte Etablierungswege zu erarbeiten.
Evaluierung des Projekts „Diakonie und Caritas als Orte zukunftsfähigen Lebensstils und nachhaltiger Beschaffung“
Gegenstand der Evaluation war das von der Deutschen Bundesstiftung Umwelt geförderte Projekt „Diakonie und Caritas als Orte zukunftsfähigen Lebensstils und nachhaltiger Beschaffung“, das am 1.11.2010 gestartet wurde und bis zum 30.4.2013 lief. Im Rahmen dieses Projekts sollte die Beschaffung in Einrichtungen der stationären Altenhilfe sowie der Kinder-/Jugend- und Behindertenhilfe im Sinne der Nachhaltigkeit verbessert werden. Gleichzeitig sollten Mitarbeiter:innen, Bewohner:innen und Besucher:innen informiert und zu einer nachhaltigen Lebensgestaltung motiviert werden. Darüber hinaus sollten die in Testeinrichtungen erprobten Ansätze zur Senkung des Ressourcenverbrauchs und der Einführung nachhaltiger Beschaffungsstandards deutschlandweit sowohl innerhalb der Projektträger als auch in nichtkirchlichen Wohlfahrtseinrichtungen verbreitet und verstetigt werden.
Es handelte sich um eine formative, den Prozess begleitende Evaluation nach ca. 1,5 Jahren, die Erkenntnisse für die restliche Laufzeit des Projekts und seine geplante Weiterführung über das Förderende hinaus gewinnen sollte. Ganz allgemein wurde dazu die detaillierte inhaltliche Beschreibung der vier Projektphasen mit dem Projektstand zum Zeitpunkt des Beginns der Evaluierung abgeglichen. Konkreter gesagt, ging es darum, die bis zum Evaluationszeitpunkt realisierten Aktivitäten zu dokumentieren, Informationen zur Erreichung der Teilziele („Verbesserung der Beschaffung unter Nachhaltigkeitskriterien“, „Bundesweite Verbreitung des Projektes“, „Aufbau von Netzwerkstrukturen“) zu gewinnen und Hinweise für die Optimierung von Prozessen abzuleiten. Besonderes Augenmerk sollte dabei darauf gerichtet werden, wie die Leiter:innen und Mitarbeiter:innen der Einrichtungen für die nachhaltige Beschaffung gewonnen werden können. Zur Bearbeitung der Evaluationsaufgaben folgte das CEval einem „mixed-methods“ Ansatz, wobei zur Bearbeitung der einzelnen Fragestellungen vorwiegend qualitative Leitfadeninterviews sowie standardisierte Onlinebefragungen als Datenerhebungsinstrumente genutzt wurden. Zur vertiefenden Analyse sowie zur Instrumentenanalyse wurde zudem auf das Instrument der Dokumentenanalyse zurückgegriffen.Evaluation 2010 der Wirtschaftsinitiative Nachhaltigkeit
Die Wirtschaftsinitiative Nachhaltigkeit (WIN) des Landes Steiermark wurde im Dezember 2002 vom Land Steiermark (Fachabteilung 19D), der Wirtschaftskammer Steiermark (WK-Stmk) und der Steirischen Wirtschaftsförderung (SFG) ins Leben gerufen. Diese Initiative hat zum Ziel das Leitbild der Nachhaltigen Entwicklung zu verbreiten und diese in ausgewählten Schwerpunktbereichen der steirischen Wirtschaft effektiv umzusetzen, um dadurch die erfolgreiche Entwicklung der steirischen Wirtschaft zu unterstützen. Zu diesem Zweck bietet die WIN spezielle Beratungsprogramme für Unternehmer und Organisationen zu Themen der Nachhaltigkeit und des Umweltschutzes an, die von sogenannten WIN-Beratern durchgeführt werden.
Ende 2009 kann die WIN auf drei Programmperioden zurückblicken.
Ziel der Evaluation war es einerseits, das WIN-Programm bezüglich seiner Effektivität und Effizienz zu beurteilen, um dadurch den Lernprozess und die kontinuierliche Verbesserung des Programms und seiner Umsetzung voranzutreiben. Andererseits sollten Zukunftsperspektiven der Wirtschaftsinitiative Nachhaltigkeit aufgezeigt werden.
Methodisch umfasste die Evaluation eine Sekundäranalyse vorliegender Dokumente, teilstandardisierte Telefoninterviews mit Teilnehmern und Beratern, sowie leitfadengestützte telefonische Kurzinterviews mit weiteren Stakeholdern.
Evaluation des Instituts für Zukunftsenergiesysteme gGmbH
Das IZES wurde im November 1999 auf Initiative des Landes Saarland, einzelner Energieunternehmen und Energiedienstleister sowie der Universität des Saarlandes und der Hochschule für Technik und Wirtschaft des Saarlandes (HTW) gegründet. Der Zweck der gemeinnützigen Gesellschaft besteht in der Förderung des Umweltschutzes insbesondere durch die anwendungsnahe Forschung und Entwicklung auf dem Gebiet von Zukunftstechnologien und Zukunftsmärkten für Energiesysteme. Dies geschieht durch beratende, begleitende und ausführende Tätigkeiten bei der Initiierung, Konzeption und Umsetzung von innovativen Maßnahmen zur rationellen Energienutzung und zur Nutzung erneuerbarer Energien.
Das IZES hat den Status eines An-Instituts der HTW. Sein Hauptsitz befindet sich im IT Park Saarland, an der HTW und am Innovationszentrum eines Energieunternehmens unterhält das IZES Test- und Demonstrationszentren mit vielfältigen Labor- und Testeinrichtungen.
Die Institutsevaluation sollte Stärken und Schwächen des Instituts von Außen beleuchten und im Hinblick auf die Stellung des Instituts in der Forschungslandschaft der Bundesrepublik Deutschland mögliche zusätzliche Betätigungsfelder und Bereiche ohne reelle Zukunftschancen identifizieren. Hierbei sollte die Ausrichtung des Instituts mit seinen vier Arbeitsfeldern Energiesystemtechnik, Stoffstrommanagement / Biomassenutzung, Energiewirtschaft / Zukunftsmärkte und Solarforschung untersucht werden. Insbesondere waren die Schwerpunktsetzungen des Instituts in Bezug auf den Einsatz der öffentlichen Fördermittel im Hinblick auf den damit zu erzielenden Nutzen für die Region zu betrachten.
Das Ziel der Evaluation bestand in der Erarbeitung von Empfehlungen im Hinblick auf die Ausrichtung des Instituts für die nächsten fünf bis sieben Jahre.
Methodisches Vorgehen: Die Evaluation des Instituts für Zukunftsenergiesysteme (IZES) wurde von CEval organisiert, begleitet und in drei Teilschritten implementiert:
Erstellung eines internen Evaluationsberichts durch das IZES
Befragungen von Auftraggebern, Kooperationspartnern und Aufsichtsratsmitgliedern des IZES durch das CEval
Durchführung einer externen Evaluation durch Fachgutachter
Als Grundlage für die Erstellung des internen Evaluationsberichts diente ein Fragenkatalog des CEval, der sich weitgehend am “Fragenkatalog für die Evaluierung von Einrichtungen der Leibniz-Gemeinschaft“ orientiert, jedoch an die Ausrichtung, Ziele und Bedingungen des IZES sowie die spezifischen Evaluationsziele angepasst worden war. Abweichend vom klassischen Vorgehen bei Institutsevaluationen erfolgen zusätzlich die Befragungen wichtiger Stakeholdergruppen durch das CEval in Form von Leitfaden gestützten telefonischen und persönlichen Interviews. Das CEval erstellte hierzu einen Bericht, der ergänzend zum internen Bericht des IZES der Vorbereitung der externen Fachgutachter diente. Die externe Evaluation durch die Gutachtergruppe erfolgte im Rahmen einer Institutsbegehung, die mit einem Abschlussgespräch unter Einbeziehung des Auftraggebenden Ministeriums endete. Das Abschlussgespräch wurde vom CEval moderiert und protokolliert. Im Anschluss an den Begehungstermin erstellten die Fachgutachter einen Bericht zu der externen Evaluation. Die Berichte des IZES, des CEval und der Fachgutachter bildeten zusammen den Gesamtbericht zur Evaluation, zu dem das Umweltministerium und das IZES Stellungnahmen abgeben, die in einem Abschlussworkshop diskutiert werden.
Projektfortschrittkontrolle „Starke Verbraucher für ein Gutes Klima“ im Rahmen der Klimaschutzinitiative der Bundesregierung
Das Projekt „Starke Verbraucher für ein gutes Klima“ wurde von der Verbraucherzentrale Bundesverband e.V. als Dachorganisation der 16 Verbraucherzentralen der Bundesländer in Kooperation mit fünf weiteren verbraucherpolitisch orientierten Verbänden im Auftrag des Bundesministeriums für Umwelt, Naturschutz und Reaktorsicherheit (BMU) durchgeführt. Ziel des Projektes war es, die Akzeptanz für Klimaschutzmaßnahmen zu erhöhen und das Potenzial privater Haushalte beim Verhalten, Konsumieren und Investieren für den Klimaschutz besser zu nutzen.
Die begleitende Projektfortschrittkontrolle widmete sich insbesondere der externen Wirksamkeit des Klimaprojekts und versuchte darüber hinaus, Best-Practice Beispiele im Rahmen eines benchmarking-Verfahrens zu ermitteln. Zu den Arbeitsaufgaben gehörte die Entwicklung von Erhebungsinstrumenten, die Durchführung von Datenerhebungen, die Auswertung selbst- und fremderhobener Daten, eine begleitende und möglichst aktuelle Berichterstattung (u.a. durch zeitnahe Dokumentationen von Ergebnissen für die Intranetplattform ELVIS) während des Projektverlaufs sowie zur Dokumentation der Zwischen- und Abschlusskontrolle.
Evaluierung der Landesbauordnung des Saarlandes
Gegenstand der Evaluation waren die ersten Erfahrungen der Betroffenen mit der Umsetzung der im Juni 2004 in Kraft getretenen Novellierung der saarländischen Bauordnung. Mittels unterschiedlicher qualitativer und quantitativer Erhebungsmethoden wurden insbesondere die Akzeptanz und Wirkungsweise der Verfahrensreform untersucht. Neben Intensivinterviews mit Experten aus dem Bauwesen kamen dabei standardisierte schriftliche Befragungen sowie statistische Analysen zum Einsatz.
Als Ergänzung zur im Januar 2007 abgeschlossenen Evaluierung der Landesbauordnung des Saarlandes wurden leitfadengestützte Interviews mit privaten Bauherren durchgeführt, um Erkenntnisse über die Akzeptanz der Neuregelungen bei dieser Gruppe von Normadressaten zu gewinnen. Darüber hinaus sollte geklärt werden, welche Probleme mit der Gesamtheit staatlicher Reglementierungen für die Bauherren verbunden sind.
Evaluation der Umweltberatungsprojekte des Bundesumweltministeriums
Seit 1989 unterstützen das Bundesumweltministerium und das Umweltbundesamt jährlich mit ca. 0,9 Mio. Euro Projekte zur Durchführung von Umweltberatungen bei bundesweit operierenden Verbänden (bis zum Evaluationszeitpunkt ungefähr 100 Maßnahmen mit einem Volumen von über 8 Mio. Euro). Bei der ex-post Evaluation wurden die Wirkungen von einem Drittel der Projekte (mit Beteiligung von 30 verschiedenen Organisationen) untersucht.
Evaluation des Orientierungsberatungsprogramms der Deutschen Bundesstiftung Umwelt in den neuen Bundesländern
Als Soforthilfe für die neuen Bundesländern unterstützte die Deutsche Bundesstiftung Umwelt zwischen 1991 und 1996 mit rd. 25 Mio. Euro den Aufbau einer Umweltberatungsinfrastruktur bei den neugegründeten Handwerks-, Industrie- und Handelskammern, verschiedenen Einzelgewerkschaften und der Landwirtschaftsberatung Mecklenburg-Vorpommern sowie die Vermittlung von fast 10.000 Beratungen privater Ingenieurbüros bei Kommunen sowie kleineren und mittleren Unternehmen. Im Rahmen der ex-post Evaluation wurden knapp 1500 beratene Betriebe und Kommunen telefonisch befragt und rund 80 Leitfaden gestützte Intensivinterviews mit allen Beteiligten durchgeführt.
Aktion Wasserzeichen
Die „Aktion Wasserzeichen“ ist ein Programm des Ministeriums für Umwelt, mit dem die saarländischen Gemeinden bei ihren Bemühungen, nicht verunreinigtes Niederschlagswasser von reinigungsbedürftigem Abwasser zu trennen, finanziell unterstützt werden. Seit in Kraft treten der Aktion Wasserzeichen im Jahre 1996 wurden ca. 400 Projekte mit insgesamt rund 65 Mio. bezuschusst. Im Rahmen dieser Evaluation wurde systematisch untersucht, wie das Projekt bei den Beteiligten vor Ort angenommen wird und wo Probleme auftreten. Die Ergebnisse der Evaluation sollten für eine Neukonzeption der Aktion Wasserzeichen genutzt werden.
Zwischenevaluierung des Regionalmanagements und der regionalen Partnerschaft „Vis à Vis e.V.“
Das Saarland gehört zu den ausgewählten Modellregionen des im September 2001 vom Bundesministerium für Verbraucherschutz, Ernährung und Landwirtschaft (BMVEL) ausgeschriebenen Wettbewerbs „REGIONEN AKTIV“, der den Gedanken der Agrarwende in den Regionen und in der Bevölkerung stärker verankern sollte. In diesem Kontext wurden bis zum Zeitpunkt der Evaluation mehr als 20 unterschiedliche Teilprojekte in unterschiedlichen Bereichen von der saarländischen Regionalpartnerschaft initiiert. Zur Steuerung dieser regionalen Aktivitäten wurde im Mai 2002 der Verein „Vis à Vis & Stadt und Land & Nachbarn mit Zukunft“ gegründet, dem gegenwärtig 36 institutionelle Mitglieder aus den Bereichen Landwirtschaft, Forst, Umwelt und Naturschutz, Handwerk, Verbraucherschutz sowie der öffentlichen Verwaltung angehören. Grundlage der Vereinsaktivitäten bildet ein regionales Entwicklungskonzept (REK), in dem die wesentlichen Ziele und Maßnahmenstrategien der Partnerschaft verankert sind. Im Rahmen einer Halbzeitbewertung des Gesamtprogramms „REGIONEN AKTIV“ hatte der Verein „Vis à Vis“ das CEval mit einer externen Evaluation auf den Ebenen der regionalen Partnerschaft bzw. des REKs sowie des Regionalmanagements beauftragt. Verbunden hiermit waren drei wesentliche Aufgabenstellungen:
> Bilanzierung der bereits durchgeführten Aktivitäten des Regionalmanagements und der regionalen Partnerschaft, d.h. eine Bewertung des Prozesses (Planung, Durchführung und Steuerung) sowie eine Bewertung der bisher erreichten Ergebnisse (Wirkungen),
> Erstellung von Empfehlungen für die Weiterentwicklung des Regionalmanagements und der regionalen Partnerschaft in der zweiten Hälfte der Laufzeit des Wettbewerbs, Beratungsleistungen bei der Evaluierung der geförderten Teilprojekte. Die methodische Vorgehensweise zur Beantwortung der ersten zentralen Aufgabenstellung orientierte sich an einem auf dem Evaluationskonzept des CEval basierenden Analyseleitfaden.
> Bewertungsgrundlage stellten hierbei die systematischen Auswertungen vorliegender schriftlicher Dokumentationen.
Die während der Teilnahme an zentralen Sitzungen der Partnerschaft gewonnenen Eindrücke sowie & im Sinne einer partizipativen Vorgehensweise & die Einschätzungen möglichst vieler Beteiligter der Partnerschaft dar (Leitfadeninterviews und standardisierte Befragung). Basierend auf den so gesammmelten Befunden erfolgte eine Ableitung von Empfehlungen für eine Weiterentwicklung der Organisations- und Steuerungsstrukturen der Partnerschaft. Ein abschließender Ergebnisbericht wurde im Januar 2004 eingereicht.