Unterstützung des BfN bei der Evaluierung durch den Wissenschaftsrat (WR) 2023/2024
Als Ressortforschungseinrichtung des Bundes wird das Bundesamt für Naturschutz (BfN) in regelmäßigen Abständen durch externe Expert:innen evaluiert. Nach der ersten externen Evaluation durch den Wissenschaftsrat (WR) im Jahr 2007 und der zweiten Evaluation 2015 steht nun 2024 die dritte Evaluierung an. Ziel des Vorhabens ist die Unterstützung des BfN bei der konzeptionellen Vor- und Nachbereitung des anstehenden Evaluierungsprozesses durch externe, wissenschaftliche Expertise.
Dabei werden folgende Kernaufgaben erfüllt:
– Unterstützung bei der Sammlung, Auswertung und Aufbereitung von Daten und Informationen, die zur Beantwortung der Fragen an das BfN benötigt werden und der Erstellung des Berichtes;
– Unterstützung bei der Vorbereitung und Durchführung der Begehung durch den Wissenschaftsrat;
– Unterstützung bei der Auswertung der Evaluierungsergebnisse sowie bei der Nachbereitung der Evaluierung;
– Analyse der Wirksamkeit und Qualität der wissenschaftsbasierten Politikberatung und Wissenskommunikation des BfN einschließlich der Entwicklung von Empfehlungen zu deren systematischer Weiterentwicklung. Erarbeitung von Vorschlägen zur Integration dieser Empfehlungen in das Qualitätsmanagement des Wissenschaftlichen Arbeitens des BfN.
Programmevaluation des Bundesprogramms Biologische Vielfalt
Die Bundesregierung hat mit der nationalen Strategie zur biologischen Vielfalt die Verbesserung des Schutzes und der nachhaltigen Nutzung der biologischen Vielfalt in Deutschland angestrebt. Die Strategie wurde 2007 von der Bundesregierung beschlossen und seit 2015 durch die Naturschutz-Offensive 2020 ergänzt.
Das Bundesprogramm für biologische Vielfalt übernahm seit 2011 als finanzstärkstes deutsches Förderinstrument für Naturschutzprojekte eine entscheidende Rolle im Rahmen der Biodiversitätsstrategie. Es fördert Maßnahmen, die darauf ausgerichtet sind, den Rückgang der biologischen Vielfalt in Deutschland zu stoppen und mittel- bis langfristig in einen positiven Trend umzukehren.
Um den Erfolg abzuschätzen, hat das Bundesprogramm auf der Projektebene Evaluierungen einzelner geförderter Projekte festgelegt. Allerdings fehlte in seiner 10-jährigen Laufzeit eine systematische Querschnittsanalyse.
Deswegen arbeitete das CEval gemeinsam mit adelphi und dem Planungsbüro für angewandten Naturschutz (PAN) eine strukturierte, passgenaue Analysemethodik heraus, mit der systematisch die Qualität des Programms bewertet wurde.
Dazu wurden Dokumente von mehr als 60 abgeschlossenen beziehungsweise weit fortgeschrittenen Projekten systematisch ausgewertet und durch Experteninterviews flankiert. Zusätzlich wurden auf der Ebene der Programmsteuerung und Managementpraxis weitere Interviews geführt, um Optimierungspotenziale des operativen und strategischen Programmanagements herauszuarbeiten. Insgesamt wurden wesentliche Aspekte, Erfolge, Schwächen und Potenziale auf Programm- und Projektebene erfasst und für die Förderpraxis systematisch reflektiert.
Politikanalyse zur Evaluation der Deutschen Anpassungsstrategie an den Klimawandel
Die Deutsche Anpassungsstrategie an den Klimawandel (DAS) und die dazugehörigen Aktionspläne (APA I bis III) bilden den nationalen politischen Rahmen für die Anpassung an den Klimawandel in Deutschland. Doch auch auf subnationaler Ebene tragen viele Beteiligte dazu bei, die Anpassungskapazität zu erhöhen und die Verwundbarkeit gegenüber Klimafolgen zu senken, zum Beispiel die Bundesländer, Kommunen und weitere nicht-staatliche Akteure.
Im Rahmen der zweiten Evaluation der Deutschen Anpassungsstrategie sollen u.a. die Fragen beantwortet werden, wo Deutschland mit der Anpassung steht, ob bereits genug getan wird oder es in einigen Bereichen noch zielgerichtetere, effizientere Maßnahmen braucht, wie die verschiedenen Akteure zusammenarbeiten und wo es noch Verbesserungspotenzial gibt. Es sollen Fortschritte zur Anpassung in Deutschland, auch auf subnationaler Ebene, aufgezeigt und Handlungsbedarfe identifiziert werden. Die Ergebnisse fließen in die Weiterentwicklung des Anpassungsprozesses in Deutschland ein.
Die CEval GmbH führt die vom Umweltbundesamt (UBA) beauftragte Evaluation gemeinsam mit adelphi (Berlin) und einem Kreis von nationalen Anpassungsexpert*innen durch. Schwerpunkte der CEval GmbH liegen dabei auf der Unterstützung der Weiterentwicklung der Evaluationskonzeption und -methodik, der Durchführung der eigentlichen Evaluation mittels eines Multi-Methoden-Designs und der Aktualisierung der im Zuge der ersten DAS-Evaluation entwickelten Handreichung zu geeigneten methodischen Vorgehensweisen für die Evaluation von Anpassungsstrategien.
Externe Evaluation zur klimafreundlichen Gemeinschaftsverpflegung im Rahmen des Projektes MehrWertKonsum der Verbraucherzentrale NRW e.V.
Das Projekt „MehrWertKonsum & Mehr Wertschätzung von Lebensmitteln und begrenzten Ressourcen“ der Verbraucherzentrale Nordrhein-Westfalen (VZ NRW) möchte einen verantwortungsvollen, zukunftsfähigen und klimaschonenden Konsum befördern und CO2-Emissionen reduzieren. Das übergeordnete Ziel des Projekts ist es, einen mittelbaren Beitrag zur Einsparung von Treibhausgasemissionen zu leisten. Der Weg zur Reduzierung von Treibhausgasemissionen führt in der Gemeinschaftsverpflegung unter anderem über weniger Speisereste und mehr vegetarische Gerichte mit saisonalen Lebensmitteln aus der Region und aus biologischem Anbau. Für Kitas, Schulen, Jugendherbergen und ihre Verpflegungsanbieter werden Informationen und Bildungsmaterialien verbreitet, Abfallmessungen und Analysen der Teller- und Ausgabereste durchgeführt und Verbesserungsvorschläge erarbeitet. Des Weiteren werden Menü- und Speisepläne geprüft und hinsichtlich der Attraktivität sowie des Klima- und Umweltschutzes optimiert. Schulen können zusätzlich für ihre Schüler(innen) partizipative Bildungsangebote und Aktionen erhalten. In den Jugendherbergen wird ein besonderes Augenmerk auf die Gästekommunikation gelegt, um die Akzeptanz der Maßnahmen zu erhöhen und ebenfalls zur Abfallvermeidung beizutragen. Das Projekt wird aus Mitteln des „Operationellen Programms Nordrhein-Westfalens für die Förderung von Investitionen in Wachstum und Beschäftigung aus dem Europäischen Fonds für regionale Entwicklung“ (EFRE OP NRW) und des Ministeriums für Umwelt, Landwirtschaft, Natur- und Verbraucherschutz Nordrhein-Westfalen (Umweltministerium NRW) finanziert. Im Rahmen der Förderung des EFRE OP NRW muss bei ausgewählten Maßnahmen die Höhe der Treibhausgasreduzierung ermittelt werden (t CO2-Aquivalent/Jahr). Dies betrifft die zu evaluierenden Maßnahmen.
Darüber hinaus sollten folgende Ziele des Handlungsfelds „Klimafreundliche Gemeinschaftsverpflegung“ evaluiert werden:
> Reduzierung von Lebensmittel- und Speiseabfällen
> Etablierung von klimafreundlichen und gesunden Verpflegungsangeboten
> Entwicklung eines erhöhten Bewusstseins und erhöhter Wertschätzung für Lebensmittel, klimafreundliche Ernährung und Lebensmittelabfälle
Im Rahmen der externen Evaluation des Projekts MehrWertKonsum sollte die Wirkung der Maßnahmen sowohl auf Outcome-Ebene (insbesondere verändertes Verhalten bei den Zielgruppen) als auch auf Impact-Ebene (Einsparung von Treibhausgasen) analysiert werden. Das Evaluationsteam aus CEval GmbH, schmidt Evaluation und EBP wendeten dazu einen komplexen Multimetmethodenansatz an, bei dem die Ergebnisse aus teilnehmender Beobachtung, telefonischen Leitfadeninterviews und schriftlichen (Online-)Befragungen in einer Weise mit den Inhalten des internen Monitoring des Projekts MehrWertKonsum verknüpft wurden, dass im Endeffekt die Berechnung der Einsparung von Treibhausgasen ermöglicht wurde.
IKI-Einzelprojektevaluierung
Die internationale Klimaschutzinitiative (IKI) fördert seit 2008 auf Projektbasis Vorhaben zu (i) Klimaschutz, (ii) Anpassung an den Klimawandel, (iii) Erhalt der Kohlenstoffsenken und (iv) Schutz der Biodiversität in Entwicklungs- und Schwellenländern. Insgesamt beinhaltet die IKI inzwischen knapp 600 Einzelprojekte und ein Fördervolumen von 2,8 Milliarden Euro. Ihr Schwerpunkt liegt dabei auf dem Klimaschutz, welcher knapp die Hälfte der Projekte umfasst. Eine erste Evaluierung, die im Zeitraum von 2010 bis 2013 durchgeführt wurde, umfasste 115 Projekte. Hier wurde eine Vollerhebung der bis 2011 abgeschlossenen oder fast abgeschlossenen Projekte durchgeführt. Dieses Vorhaben zielte auf die Durchführung von weiteren Evaluierungen derjenigen Projekte, die bis Ende 2019 abgeschlossen wurden. Die einzelnen Projektevaluierungen bestanden aus detaillierten Analysen nach den OECD DAC-Kriterien, sowie weiteren, programmspezifischen Kriterien. Dabei lag der Fokus der Wirkungskette auf einer Analyse der Inputs, Outputs und Outcomes. Wirkungen auf höheren Ebenen wurden nur aufgrund der zum Zeitpunkt der Evaluierungen vorliegenden belastbaren Informationen analysiert.
Wirkungsmonitoring im Rahmen der TZ-Maßnahme und Wirkungsevaluation auf systemischer Ebene zum Beitrag der Maßnahme zur Verzahnung von EZ und AWF
Die Herausforderungen des Klimawandels und des kontinuierlichen Rückgangs fossiler Brennstoffvorräte treffen die verschiedenen Regionen der Erde in unterschiedlicher Weise. Die Staaten haben sich dabei ambitionierte Ziele gesetzt: Mexiko möchte z.B. bis zum Jahr 2024 mehr als ein Drittel seiner Energieproduktion durch erneuerbare Energien erzeugen. Trotz aller Bemühungen ist der Umweltschutz bisher im nördlichen Lateinamerika noch nicht sonderlich erfolgreich gewesen. Eine Ursache hierfür ist die mangelhafte Verbreitung moderner Umwelttechnologien in der Region. Hier setzte das Projekt „Kooperationsplattform Lateinamerika Nord (KOPLAN)“ an und nahm vor allem zentrale Defizite in den Blick, die internationalen Investitionen und Kooperationen entgegenstehen. Diese sind vor allem fehlende Fachkompetenzen in der mittelständigen Wirtschaft im Bereich moderner Umwelttechnologien.
Im Rahmen des gegenwärtigen Auftrags unterstützte das CEval gemeinsam mit dem iSPO-Institut das Vorhaben in den Komponenten Wirkungsmonitoring und Evaluation. Ausgangspunkt eines wirkungsorientierten Monitoring ist in aller Regel das Zielsystem inkl. Zielerreichungsindikatoren und relevanter Annahmen der betreffenden Maßnahme. Veränderungen auf anderen Ebenen, insbesondere im Rahmen von Kooperationsmechanismen, werden dagegen nicht direkt oder nur am Rande im Rahmen des Monitoring thematisiert. Diese Entwicklung von Kooperationssystemen oder aber die Eignung der diesbezüglichen Förderinstrumente werden darüber hinaus im Rahmen der Komponente Evaluation in den Blick genommen.
Im Ergebnis sollten im Rahmen dieses Auftrags neben dem Monitoring und der Erfassung von Wirkungen der Einzelmaßnahmen Erkenntnisse zum Beitrag KOPLANS zur besseren Verzahnung von EZ und AWZ sowie von öffentlichem und privatem Sektor aus systemischer Ebene generiert werden.
Wissenschaftliche Begleitung einer Wirkungsanalyse des Projektes „egal war gestern – Richtung Nachhaltigkeit an beruflichen Schulen“
Der Landesbund für Vogelschutz in Bayern e.V. (LBV) führte im Schuljahr 2018/19 zum zweiten Mal das Projekt „egal war gestern & Richtung Nachhaltigkeit an beruflichen Schulen“ durch. Es zielte darauf ab, zu einer Mobilisierung der Jugend für Nachhaltigkeitsfragen beizutragen. Das Projekt richtete sich an Schüler:innen bayerischer beruflicher Schulen. Mit dem Projekt sollte ihre Aufmerksamkeit in dieser wichtigen Lebensphase der beruflichen Orientierung auf Nachhaltigkeitsthemen gelenkt und ihr Bewusstsein für entsprechende Themen gestärkt werden. Hierzu setzten die Schüler:innen eigenverantwortlich Projektideen für einen nachhaltigeren Schulalltag an ihren Schulen um. Das Projekt wurde einer Wirkungsanalyse unterzogen, welche im Rahmen einer begleitenden Evaluation gemeinsam von LBV und CEval GmbH durchgeführt wurde. Ziel war es zu ermitteln, ob die durch das Projekt angestrebten Wirkungen tatsächlich eintreten, ob sich also die Nachhaltigkeitseinstellungen und das -verhalten der teilnehmenden Schüler:innen verändern und ob es gelingt, das Thema Nachhaltigkeit noch besser an bayrischen beruflichen Schulen zu verankern. In methodischer Hinsicht wurde eine standardisierte Vorher-Nachher-Befragung der am Projekt teilnehmenden Schüler:innen (Interventionsgruppe) sowie einer Vergleichsgruppe durchgeführt. Zusätzlich wurden vor und nach dem Projekt leitfadengestützte Interviews mit dem die Projekte betreuenden Lehrpersonal geführt.
Auswertung der Gefahrenabwehr und Schäden nach den Starkregenereignissen im Saarland von Mai/Juni 2018
In den Monaten Mai und Juni 2018 wurde das Saarland durch schwere Unwetter getroffen, wobei in einer Reihe von Kommunen hohe Schäden durch Starkregen verursacht wurden. Das Ministerium für Umwelt und Verbraucherschutz des Saarlandes (MUV) beabsichtigte im Nachgang dieser Ereignisse die Maßnahmen zur Gefahrenabwehr und der Abwehr von Schäden zu überprüfen. Dazu sollte eine Stärken- und Schwächenanalyse der Gefahrenabwehr bezüglich Vorbereitung, Bewältigung und Nachbereitung der Ereignisse durchgeführt werden, anhand derer Verbesserungspotenziale erkannt und Handlungsempfehlungen abgeleitet werden können. Darüber hinaus sollte eine Auswertung der entstandenen Schäden vorgenommen werden.
Zur Analyse der Stärken und Schwächen der Gefahrenabwehr wurden insgesamt 62 leitfadengestützte Interviews mit Vertreter:innen der Feuerwehr und des Technischen Hilfswerks, sowie Bürgermeister:innen, Ortsvorsteher:innen und relevanten Mitarbeiter:innen kommunaler Behörden und Kreisbehörden geführt. Die inhaltsanalytische Auswertung dieser Interviews bildete die Grundlage zur Identifikation von Verbesserungspotenzialen und zum Ableiten konkreter Handlungsempfehlungen. Die Schäden im Bereich von kommunaler Infrastruktur und Privathaushalten wurden anhand der vom Auftraggeber bereitgestellten Daten quantitativ ausgewertet.
Entwicklung eines Handbuchs zur Einführung und Nutzung von wirkungsorientierten M&E-Ansätzen im Bereich Anpassung an den Klimawandel
Projekte zur Anpassung an den Klimawandel benötigen ein methodisch ausgereiftes M&E-System, das sich nicht auf das Messen von Effekten auf Outputebene begrenzt, sondern Outcomes und Impacts sowie die Attribution von nachgelagerten Wirkungen zu den Projektaktivitäten berücksichtigt.
Die GIZ ist an das Centrum für Evaluation (CEval) mit Bitte um fachliche Unterstützung bei der Entwicklung eines praxistauglichen Ansatzes zur Impact Evaluation in diesem Bereich herangetreten. Zum einen hat das CEval verschiedene Designs der rigorosen Impact Evaluation zusammengestellt und zum anderen Beispiele zu deren Anwendbarkeit im Kontext von Anpassungsprojekten herausgearbeitet. Ergebnisse wurden in einem Handbuch zur Einführung und Nutzung von wirkungsorientierten M&E-Ansätzen im Bereich Anpassung an den Klimawandel festgehalten. Das Handbuch richtet sich an Mitarbeiterinnen und Mitarbeiter der Ministerien, der Geberinstitutionen und anderer relevanter Organisationen, die Projekte zur Anpassung an den Klimawandel entwickeln, umsetzen, prüfen und verbessern wollen.
Evaluation des Projektes „Nachhaltige Kommunalentwicklung durch Partnerschaftsprojekte (Nakopa)“ und des „Förderprogramms für Kommunalen Klimaschutz und Klimaanpassungsprojekte (FKKP)“
Die Servicestelle Kommunen in der Einen Welt (SKEW) unter dem Dach von Engagement Global ist das Kompetenzzentrum der kommunalen Entwicklungspolitik in Deutschland. Seit 2001 bietet sie eine Dialogplattform zum kommunalen Erfahrungsaustausch und fördert kommunale Akteure in ihrem entwicklungsbezogenen Engagement durch Qualifizierungs-, Informations- und Beratungsangebote, die Umsetzung von Modellprojekten sowie Hilfestellungen für finanzielle Förderung.
Zum Leistungsspektrum der SKEW zählen unter anderem die Vorhaben „Nachhaltige Kommunalentwicklung durch Partnerschaftsprojekte (Nakopa)“ und das „Förderprogramm für kommunale Klimaschutz- und Klimaanpassungsprojekte (FKKP)“. Während durch Nakopa bestehende und neue Partnerschaften zwischen deutschen Kommunen und Kommunen des globalen Südens zur Planung und Unterstützung von gemeinsamen Projekten in ausgewählten entwicklungspolitisch relevanten Themenfeldern gefördert werden, zielt die Förderung durch FKKP ausschließlich auf die Förderung von Maßnahmen zum Klimaschutz und zur Anpassung an den Klimawandel.
Nach einem ersten dreijährigen Projektzyklus sollten diese beiden Vorhaben nun sowohl hinsichtlich prozessualer Aspekte der Projektadministration als auch herbeigeführter Wirkungen der geförderten Projekte sowie der Förderangebote Nakopa und FKKP evaluiert werden. Zur Beantwortung der an den OECD-DAC Evaluationskriterien ausgerichteten Leitfragen wurde ein auf dokumentarischen und empirischen Daten beruhender kontributionsanalytischer Untersuchungsansatz gewählt. Grundlage der Untersuchungen waren entsprechend sowohl Monitoringdaten und Projektdokumentation als auch eigens, mittels leitfadengestützter Intensivinterviews sowie teilstandardisierter Onlinebefragungen der teilnehmenden Kommunen, erhobene Daten.
