Evaluation der Webseite www.bne-portal.de

Die Deutsche UNESCO-Kommission ist eine Mittlerorganisation im Bereich der multilateralen Kultur-, Bildungs-, Wissenschafts- und Medienpolitik. Mit der Webseite www.bne-portal.de unterstützt die Deutsche UNESCO-Kommission das Global Action Programme on Education for Sustainable Development (dt. Weltaktionsprogramm Bildung für nachhaltige Entwicklung). Die Webseite möchte die inhaltliche Einstiegsplattform für (künftige) nationale BNE-Akteure sein. Nach ihrem Relaunch im Jahr 2016 und einer Laufzeit von einem Jahr wurde die Webseite www.bne-portal.de durch die CEval GmbH evaluiert werden.

Die Evaluation sollte die Website hinsichtlich folgender Aspekte bewerten:
(a) Verständlichkeit, fachliche Relevanz und Attraktivität der bereitgestellten Informationen,
(b) Attraktivität von Design und Aufbau,
(c) Auffindbarkeit von Informationen,
(d) Praxisrelevanz der Informationen,
(e) Eignung der Kontaktmöglichkeiten,
(f) Erfüllung von Nutzererwartungen,
(g) Nutzungsintensität,
(h) Bekanntheitsgrad/Attraktivität der angebotenen Lehrmaterialsammlung und
(i) Bekanntheitsgrad/Attraktivität der angebotenen Akteursdatenbank.

Die Evaluation basierte auf einer Online-Nutzerbefragung und quantitativer Datenauswertung.

Evaluation der Deutschen Strategie zur Anpassung an den Klimawandel

Die Deutsche Strategie zur Anpassung an den Klimawandel (DAS) und der dazugehörige Aktionsplan Anpassung sind die Hauptpfeiler der deutschen Anpassungspolitik. Langfristig verfolgt die Bundesregierung das Ziel, die Verwundbarkeit von Wirtschaft, Umwelt und Gesellschaft gegenüber den Folgen des Klimawandels zu reduzieren. Um dies zu erreichen, wurde in den vergangenen Jahren bereits eine Vielzahl konkreter Maßnahmen auf unterschiedlichen Ebenen umgesetzt. Für die Fortführung einer erfolgreichen Anpassung an den Klimawandel und für die Weiterentwicklung der Strategie ist es wichtig, den bisherigen Prozess kritisch zu reflektieren sowie erzielte Erfolge und mögliche Versäumnisse aufzuzeigen.

Übergreifendes Ziel der vom Umweltbundesamt (UBA) beauftragten Evaluation war es, herauszufinden, ob die DAS einen erfolgreichen strategischen Ansatz darstellt, um die Anpassungsfähigkeit natürlicher, gesellschaftlicher und ökonomischer Systeme an die Auswirkungen des Klimawandels zu steigern bzw. deren Vulnerabilität zu senken. Die Evaluation umfasste dabei drei zentrale Teile: In einer Prozessevaluation wurde der DAS-Prozess auf strategischer Ebene betrachtet, eine Umsetzungsevaluation analysierte den Umsetzungsstand der Anpassungsmaßnahmen auf Bundesebene und eine Wirkungsevaluation befasste sich kontributionsanalytisch mit der Wirkung der DAS auf die Vulnerabilität und Anpassungskapazität natürlicher, gesellschaftlicher und ökonomischer Systeme.

Gemeinsam mit adelphi führte das Centrum für Evaluation (CEval) die Evaluation im Auftrag des UBA durch. Dabei griff das Konsortium auf die in einem Vorgängervorhaben entwickelte und politisch bereits abgestimmte Methodik zurück. Entlang zentraler Evaluationsfragen und unter Berücksichtigung eines Wirkungsmodells wurden zunächst mit verschiedenen Methoden (Leitfadeninterviews, Dokumentenanalysen etc.) Daten erhoben. Anhand definierter Evaluationskriterien erfolgte anschließend eine umfassende Analyse und Auswertung der Daten. Die daraus resultierenden Ergebnisse und Empfehlungen wurden in einem onlinebasierten Delphi-Verfahren reflektiert und weiter verdichtet.

Durchführung einer Evaluation des Internationalen Klimaschutzstipendien-Programms

Im Jahr 2009 hat die Alexander von Humboldt-Stiftung (AvH) das Internationale Klimaschutz-Programm (IKS) zur Förderung begabter Nachwuchsführungskräfte aus außereuropäischen Schwellen- und Entwicklungsländern initiiert. Zwischen 2010 und 2015 wurden 100 Stipendiat:innen aus dem wissenschaftlichen und nicht-wissenschaftlichen Bereich gefördert.

Zielgruppen des IKS sind Nachwuchswissenschaftler:innen und akademisch ausgebildete Nachwuchsführungskräfte aus Industrie und Politik aus Entwicklungs- und Schwellenländern. Diese Zielgruppen sind nämlich beteiligt an Gestaltung/Umsetzung von (1) Klimaschutzmaßnahmen, (2) Maßnahmen des klimarelevanten Ressourcenschutzes und (3) Maßnahmen zur Anpassung an den Klimawandel in Entwicklungs- und Schwellenländern. Ziel des IKS ist die langfristige individuelle Begleitung der ausgewählten Stipendiat:innen: (1) Zwölfmonatiges Stipendium zur Durchführung eines selbstgewählten forschungsnahen Projekts bei einem:r selbstausgewählten Gastgeber:in in Deutschland. (2) Alumni-Förderung (u.a. Finanzierung weiterer Deutschlandaufenthalte, Einladung Gastgeber_innen an Heimatinstitutionen, Einbindung in AvH-Netzwerk).

Die Evaluation des IKS prüfte, inwiefern die Wirkungen des Programms einen Beitrag leisten zu (1) Klimaschutz und klimarelevantem Ressourcenschutz und (2) Anpassung an den Klimawandel in Entwicklungs- und Schwellenländern. Im Mittelpunkt stehen die Analyse der Zielerreichung auf Ebene der Programmziele sowie die Analyse bereits überprüfbarer Programmwirkungen.

Die Evaluation des IKS orientierte sich an den DAC-Kriterien. Sie zeichnete sich durch einen partizipativen sowie Multimethoden-Ansatz aus. So wurden im Rahmen der Evaluation Dokumenten- und Sekundäranalysen kombiniert mit qualitativen (leitfadengestützte Intensivinterviews, Fallstudien) sowie quantitativen Verfahren (teilstandardisierte Online-Erhebungen).

Evaluationsbericht

Evaluation der Fördertätigkeit der Stiftung Umwelt und Entwicklung Nordrhein-Westfalen

Seit ihrer Gründung im Jahr 2001 fördert die Stiftung Umwelt und Entwicklung Nordrhein-Westfalen die vornehmlich ehrenamtliche umwelt- und entwicklungspolitische Arbeit zivilgesellschaftlicher Gruppen. Ziel der Stiftungsarbeit ist es, die umwelt- und entwicklungspolitische Arbeit in Nordrhein-Westfalen (NRW) zu unterstützen, um diese Arbeit im Bewusstsein und im praktischen Engagement der Bevölkerung dauerhaft und auf der Höhe der Zeit zu etablieren.

Hierfür wurden in NRW bis zum Evaluationszeitpunkt etwa 1.100 Vorhaben gemeinnütziger Träger mit einem Volumen von 47,5 Mio. Euro unterstützt. Hinzu kommen Eigenprojekte der Stiftung, die durch diese operativen Tätigkeiten und ihre Öffentlichkeitsarbeit ebenfalls die Umsetzung der Agenda 21 der UN-Konferenz für Umwelt und Entwicklung von Rio de Janeiro im Jahr 1994 und die sich daran anschließenden Prozesse voranbringen möchte. Im Rahmen der Evaluation wurden die Ergebnisse und Wirkungen der Förderaktivitäten der Stiftung erfasst und bewertet und Erkenntnisse über mögliche hemmende und/oder fördernde Faktoren in der Förderarbeit der Stiftung in Bezug auf die Stiftungsziele generiert.

Die Datengewinnung basierte auf einem mixed-methods-Ansatz, d.h. es erfolgte eine vertiefende Analyse bereits vorhandener Dokumente und Daten der Stiftung und von geförderten Projekten. Zudem wurden im Rahmen von qualitativen Erhebungen (leitfadengestützte Einzel- und Gruppeninterviews) und einer quantitativen Befragung der laufenden und abgeschlossenen Projekte Primärdaten zur Zielerreichung und Wirksamkeit der Fördertätigkeit der Stiftung erhoben und ausgewertet. Auf Basis dieser Erkenntnisse wurden schließlich Empfehlungen zu Schwerpunktsetzungen der Stiftung hinsichtlich Inhalten, Akteuren, Zielgruppen und die angewandten Methoden und Formate abgeleitet.

Evaluierung und Weiterentwicklung der deutschen Anpassungsstrategie an den Klimawandel

Die Deutsche Strategie zur Anpassung an den Klimawandel (DAS) und der dazugehörige Aktionsplan Anpassung sind die Hauptpfeiler der deutschen Anpassungspolitik. Langfristig verfolgt die Bundesregierung das Ziel, die Verwundbarkeit von Wirtschaft, Umwelt und Gesellschaft gegenüber den Folgen des Klimawandels zu reduzieren. Um dies zu erreichen, wurde in den vergangenen Jahren bereits eine Vielzahl konkreter Maßnahmen auf unterschiedlichen Ebenen umgesetzt. Für das Jahr 2019 ist geplant, die DAS sowie die mit ihr verbundenen strategischen Elemente in einem zweiten Fortschrittsbericht zu evaluieren.

Um die Evaluierung des DAS-Prozesses fachlich vorzubereiten, unterstützte die CEval GmbH adelphi (Berlin) bei der Entwicklung und Erprobung einer passenden Methodik. Allerdings gestaltet sich eine solche Evaluierung mitunter als schwierig: zum einen ist die Bestimmung kausaler Ursache-Wirkungs-Zusammenhänge zwischen Anpassungsaktivitäten und verringerter Vulnerabilität nicht unproblematisch. Zum anderen stellt die Entwicklung quantitativer und messbarer Ziele eine herausfordernde Aufgabe dar. Die entwickelte Methodik berücksichtigte daher diese und weitere Herausforderungen bei der Evaluation von Anpassungsstrategien und erarbeitete entsprechende Lösungen.

Zu diesem Zweck wurden zunächst bestehende Methoden zur Evaluation nationaler Anpassungs- und Nachhaltigkeitsstrategien analysiert und bewertet. Im Zuge dessen wurde außerdem geprüft, inwiefern sich einzelne Aspekte sinnvoll auf die Evaluation des DAS-Prozesses übertragen lassen. Die Ergebnisse der Auswertung und die daraus abgeleiteten Methodenvorschläge wurden anschließend im Rahmen mehrerer Workshops mit relevanten politischen Akteuren diskutiert. Zum Abschluss wurde die Methodik in einem Pilotverfahren getestet und die daraus gewonnenen Erkenntnisse in die abschließende Finalisierung der Evaluationsmethode einbezogen.

Praxis-Impact II: Weiterentwicklung und Erprobung eines Konzeptes zur Dokumentation und Evaluierung von Leistungen der Agrarforschung für Praxis und Gesellschaft

Kooperationspartner: Universität Kassel, Fachbereich Ökologische Agrarwissenschaft, Fachgebiet Ökologischer Land und Pflanzenbau

Die etablierte Forschungsevaluierung erfasst vornehmlich den wissenschaftlichen Impact und nutzt dafür Indikatoren wie begutachtete Publikationen, zitationsbasierte Indikatoren und Drittmittel. Damit wird jedoch nur unzureichend erfasst, inwieweit Beiträge zur Lösung gesellschaftlich relevanter Probleme geleistet und ein Nutzen für Praxis und Gesellschaft generiert werden. Gerade die Agrarforschung hat hier jedoch ein wichtiges Tätigkeitsfeld, das angesichts der Herausforderungen Klimawandel, Ernährungssicherung und Ressourcenverknappung künftig noch stark an Bedeutung gewinnen wird. Dieses Forschungsprojekt sollte dazu beitragen, die Evaluierung der Agrarforschung grundsätzlich um eine Bewertung der Leistungen für Praxis und Gesellschaft zu erweitern.
Die Forschungsarbeiten bauten auf den zahlreichen bestehenden Evaluierungskonzepten auf. Diese umfassen sowohl die Aktivitäten der Forschung, die einen Impact wahrscheinlich machen (z.B. Vorträge, Workshops, Praxispublikationen), als auch eine Erfassung des tatsächlichen Impacts. Hindernisse für eine breitere Etablierung dieser Konzepte bestehen jedoch bisher hinsichtlich des Aufwandes für die Datenerfassung.

Kernziel des Projektes war die Entwicklung eines auf die Agrarforschung abgestimmten, erprobten und anschlussfähigen Dokumentations- und Evaluierungskonzeptes. Dieses sollte so breit angelegt sein, dass die gesamte Agrarforschung damit abgedeckt werden kann, um die Nutzung für verschiedene Evaluierungsgegenstände (Wissenschaftler, Projekte, Programme, Institutionen) zu gewährleisten. Die Dokumentation soll einen hohen Nutzwert für die Verwendung in der Antragsstellung und Berichterstattung haben, um durch Synergieeffekte den Dokumentationsaufwand für die Wissenschaftler nicht zu erhöhen. Erstellt wurden strukturierte Dokumentationsvorlagen, die für die technische Umsetzung in einem Datenbanksystem ausgereift sind, sowie Analyse- und Bewertungsraster. Die Entwicklung und Erprobung erfolgte anhand realer Forschungsprojekte, in welche jeweils drei Perspektiven dokumentierende Wissenschaftler, Forschungsförderung und Evaluation & eingebunden waren. Ferner engagierte sich das Projekt darin, mit der der Agrarforschung und relevanten Akteuren und Experten umsetzbare und akzeptierte Etablierungswege zu erarbeiten.

Begleit- und Akzeptanzforschung zu aktuellen Fragen des Stromnetzausbaus in Deutschland – Wissenschaftliche Begleitung der Planungspraxis (Modul III)

Im Rahmen des Gesamtvorhabens wurden in einem ganzheitlichen und systematischen Ansatz die verschiedenen Einflussfaktoren auf die Akzeptanz des Netzausbaus ermittelt und vergleichend dargestellt. Aus den wissenschaftlichen Ergebnissen wurden für die anstehenden Fragen des Netzausbaus, wie z.B. Planungsverfahren und Kommunikationsstrategien, praktisch nutzbare Empfehlungen abgeleitet.
Das Forschungsvorhaben gliederte sich insgesamt in drei Module, in welchen akzeptanzrelevante Prozesse und Faktoren in verschiedenen Regionen und auf unterschiedlichen Akteursebenen untersucht wurden.
Um ein gesamtgesellschaftliches Verständnis für den Leitungsausbau zu erreichen, waren übergeordnete und breitenwirksame Informations- und Kommunikationsmaßnahmen erforderlich. Im vom CEval bearbeiteten Modul III wurde ein Überblick über die momentan existierenden und geplanten Maßnahmen erstellt und bei ausgesuchten Elementen genauer spezifiziert, welche Maßnahme welche Zielgruppe anspricht. Folgend wurden die Informations- und Kommunikationsmaßnahmen begleitet, um Effekte auf Einstellungsveränderungen bzgl. des Netzausbaus festzustellen, Erfolgskriterien zu identifizieren und Rückmeldungen in Hinblick auf deren Wirkweisen und Optimierungsmöglichkeiten geben zu können.

Assessing the Impacts of Multinational Corporations on Global Development and Value Creation (Global Value)

Die Bedeutung Multinationaler Unternehmen für die globale wirtschaftliche und soziale Entwicklung wird kontrovers diskutiert. Durch ihre Investitionen sind sie ein wichtiger Treiber wirtschaftlichen Wachstums, stellen Arbeitsplätze zur Verfügung und erzeugen dadurch Einkommen. Außerdem tragen sie durch die Bezahlung von Steuern zur Bereitstellung von öffentlichen Dienstleistungen bei. Gleichzeitig wird ihnen vorgeworfen, ausbeuterische Arbeitsbedingungen und Menschenrechtsverletzungen zu fördern, Umweltschäden zu verursachen und Korruption zu verbreiten. Vor allem in Entwicklungsländern werde es versäumt, verantwortungsvolle Geschäftspraktiken zu etablieren.

Im Rahmen des GLOBAL VALUE Projekts wurde ein innovatives Rahmenkonzept entwickelt, um die Auswirkungen multinationaler Unternehmen hinsichtlich nachhaltiger Entwicklung, verantwortungsvoller Arbeitsbedingungen, der Achtung von Menschenrechten und Korruptionsbekämpfung zu erfassen. Dazu wurden institutionelle Strukturen und Konzepte verantwortungsvoller Geschäftspraktiken untersucht, die Komplementarität zwischen öffentlichem und privatwirtschaftlichem Engagement bewertet sowie Empfehlungen für Entscheidungsträger in Wirtschaft, Politik und Nichtregierungsorganisationen erarbeitet.

Das Projekt wurde von verschiedenen europäischen Universitäten und zivilgesellschaftlichen Organisationen sowie Partnern der Internationalen Zusammenarbeit durchgeführt. Ein zu erarbeitendes Toolkit zur Wirkungsuntersuchung in den o.g. Bereichen wurde an führenden multinationalen Unternehmen (BATA (Bekleidung, Bangladesch), OLAM (Nahrungsmittel, Tansania)) getestet.

Die Hauptaufgabe des CEval bestand darin, einen Beitrag zur Vorbereitung und Entwicklung des Toolkits und des Rahmenkonzepts zu leisten, welches auf den Millennium Development Goals sowie den nachfolgenden Sustainable Development Goals, Menschenrechten, Gender & Diversity sowie Korruptionsbekämpfung und Transparenz basiert und Managementansätze wie Supply Chain Management, Life Cycle Analysis und Base-of-Pyramid sowie verantwortungsvolle Geschäftspraktiken, Wettbewerb und Komplementarität mit öffentlicher Entwicklungshilfe berücksichtigt. Außerdem wurden zwei Fallstudien zur Komplementarität von Aktivitäten Multinationaler Unternehmen mit öffentlicher Entwicklungshilfe durchgeführt.

Evaluierung des Projekts „Diakonie und Caritas als Orte zukunftsfähigen Lebensstils und nachhaltiger Beschaffung“

Gegenstand der Evaluation war das von der Deutschen Bundesstiftung Umwelt geförderte Projekt „Diakonie und Caritas als Orte zukunftsfähigen Lebensstils und nachhaltiger Beschaffung“, das am 1.11.2010 gestartet wurde und bis zum 30.4.2013 lief. Im Rahmen dieses Projekts sollte die Beschaffung in Einrichtungen der stationären Altenhilfe sowie der Kinder-/Jugend- und Behindertenhilfe im Sinne der Nachhaltigkeit verbessert werden. Gleichzeitig sollten Mitarbeiter:innen, Bewohner:innen und Besucher:innen informiert und zu einer nachhaltigen Lebensgestaltung motiviert werden. Darüber hinaus sollten die in Testeinrichtungen erprobten Ansätze zur Senkung des Ressourcenverbrauchs und der Einführung nachhaltiger Beschaffungsstandards deutschlandweit sowohl innerhalb der Projektträger als auch in nichtkirchlichen Wohlfahrtseinrichtungen verbreitet und verstetigt werden.

Es handelte sich um eine formative, den Prozess begleitende Evaluation nach ca. 1,5 Jahren, die Erkenntnisse für die restliche Laufzeit des Projekts und seine geplante Weiterführung über das Förderende hinaus gewinnen sollte. Ganz allgemein wurde dazu die detaillierte inhaltliche Beschreibung der vier Projektphasen mit dem Projektstand zum Zeitpunkt des Beginns der Evaluierung abgeglichen. Konkreter gesagt, ging es darum, die bis zum Evaluationszeitpunkt realisierten Aktivitäten zu dokumentieren, Informationen zur Erreichung der Teilziele („Verbesserung der Beschaffung unter Nachhaltigkeitskriterien“, „Bundesweite Verbreitung des Projektes“, „Aufbau von Netzwerkstrukturen“) zu gewinnen und Hinweise für die Optimierung von Prozessen abzuleiten. Besonderes Augenmerk sollte dabei darauf gerichtet werden, wie die Leiter:innen und Mitarbeiter:innen der Einrichtungen für die nachhaltige Beschaffung gewonnen werden können.

Zur Bearbeitung der Evaluationsaufgaben folgte das CEval einem „mixed-methods“ Ansatz, wobei zur Bearbeitung der einzelnen Fragestellungen vorwiegend qualitative Leitfadeninterviews sowie standardisierte Onlinebefragungen als Datenerhebungsinstrumente genutzt wurden. Zur vertiefenden Analyse sowie zur Instrumentenanalyse wurde zudem auf das Instrument der Dokumentenanalyse zurückgegriffen.

Evaluation 2010 der Wirtschaftsinitiative Nachhaltigkeit

Die Wirtschaftsinitiative Nachhaltigkeit (WIN) des Landes Steiermark wurde im Dezember 2002 vom Land Steiermark (Fachabteilung 19D), der Wirtschaftskammer Steiermark (WK-Stmk) und der Steirischen Wirtschaftsförderung (SFG) ins Leben gerufen. Diese Initiative hat zum Ziel das Leitbild der Nachhaltigen Entwicklung zu verbreiten und diese in ausgewählten Schwerpunktbereichen der steirischen Wirtschaft effektiv umzusetzen, um dadurch die erfolgreiche Entwicklung der steirischen Wirtschaft zu unterstützen. Zu diesem Zweck bietet die WIN spezielle Beratungsprogramme für Unternehmer und Organisationen zu Themen der Nachhaltigkeit und des Umweltschutzes an, die von sogenannten WIN-Beratern durchgeführt werden.
Ende 2009 kann die WIN auf drei Programmperioden zurückblicken.

Ziel der Evaluation war es einerseits, das WIN-Programm bezüglich seiner Effektivität und Effizienz zu beurteilen, um dadurch den Lernprozess und die kontinuierliche Verbesserung des Programms und seiner Umsetzung voranzutreiben. Andererseits sollten Zukunftsperspektiven der Wirtschaftsinitiative Nachhaltigkeit aufgezeigt werden.

Methodisch umfasste die Evaluation eine Sekundäranalyse vorliegender Dokumente, teilstandardisierte Telefoninterviews mit Teilnehmern und Beratern, sowie leitfadengestützte telefonische Kurzinterviews mit weiteren Stakeholdern.