The European School of Materials (EUSMAT) at Saarland University offers various international study programs at Bachelor’s, Master’s and PhD level. In order to stay in touch with the alumni of these programs, EUSMAT is currently expanding its alumni activities.
To verify how well the current alumni activities fit the needs and to identify expectations of EUSMAT alumni, the EUSMAT has mandated CEval GmbH with the conceptualization and implementation of an alumni survey. The objective is to generate a data base for a further enhancement of the EUSMAT alumni work.
Methodologically, a semi-standardized survey as well as a number of focus group discussions will be designed and conducted among EUSMAT alumni.
The August Everding Theatre Academy, Munich, is an academic teaching and learning theatre that offers eight courses of study in the field of stage professions at Bachelor's and Master's level. These are realised in cooperation with the four Munich universities and the three Munich state theatres.
The Theatre Academy has commissioned CEval GmbH to carry out evaluations of five study programmes. The aim is to collect an evaluation of the theoretical and practical orientation by the students of the various study programmes in the sense of quality development, in order to further optimise the study programmes on the basis of this data. For this purpose, the students are surveyed online using partially standardised questionnaires.
The purpose of this assignment is to support the Ministry of Education and Training in Eswatini to conduct a mapping of all early childhood care, development, and education programs (ECCDE). The mapping will be conducted on all centres that provide ECCDE services (formal and informal), including detailing critical information on location, enrolment, infrastructure, and the type of services provided. Results from the ECCDE mapping are expected to inform the development of the Education Sector Strategic Plan 2022 – 2034, including to promote the improvement of access and quality of ECCDE services across the country.
Eval is responsible for the digitization of the questionnaire with the help of the software Kobocollect, data cleaning and statistical analysis.
The digital transformation has also greatly changed the demands on foreign policy and its communication. Whereas it used to be primarily the responsibility of the foreign minister and the global network of foreign missions, foreign policy today has many state and non-state actors. At the same time, global competition for attention has reached a new dimension due to digitalisation as well as numerous new players and alliances. But it has also changed due to a massive shift of communication to social media. Strategic communication today is therefore not only a different way of communicating in other social spaces, but at the same time a confrontation with challenges such as disinformation, propaganda or hate crime and a changed concept of the public, of freedom of expression and its threats.
The aim of the assignment was to provide a decision-making basis for project selection based on clear and predefined criteria on how well a proposed project fits into the overall logic of resilience promotion, as well as to create a basis for evaluating German engagement in the resilience sector. This took the form of developing a results-based framework with associated impact-oriented indicators, which were documented in an accompanying report and embedded in terms of communication theory.
The German Climate Change Adaptation Strategy (Deutsche Anpassungsstrategie an den Klimawandel, DAS) and the associated Action Plans (APA I to III) provide the national policy framework for adaptation to climate change in Germany. However, also at the sub-national level, many stakeholders contribute to increasing adaptation capacity and reducing vulnerability to climate impacts, for example the federal states, municipalities and other non-state actors. The second evaluation of the German Adaptation Strategy aims to answer, among others, the questions where Germany stands with adaptation, whether enough is already being done or whether more targeted, efficient measures are still needed in some areas, how the various actors cooperate and where there is still potential for improvement. Progress on adaptation in Germany, also at sub-national level, will be highlighted and needs for action identified. The results will contribute to the further development of the adaptation process in Germany. CEval GmbH is conducting the evaluation commissioned by the Federal Environment Agency (UBA) together with adelphi (Berlin) and a group of national adaptation experts. The main focus of CEval GmbH is on supporting the further development of the evaluation concept and methodology, the implementation of the actual evaluation applying a multi-method design and the updating of the handbook developed in the course of the first DAS evaluation on suitable methodological procedures for the evaluation of adaptation strategies.
The program “Palestinian-German Science Bridge” is a pilot project financed by the German Federal Ministry of Education and Research (BMBF), which is jointly implemented by Forschungszentrum Jülich and the „Palestinian Academy for Science and Technology“ (PALAST). It aims at establishing a joint education and research cooperation between Forschungszentrum Jülich and the Palestinian partner universities. To this end, the program combines measures focusing on student and researcher mobility, scientific exchange among faculty staff, the support of research collaborations and the reintegration of young Palestinian researchers into the Palestinian academic sector.
Forschungszentrum Jülich mandated CEval GmbH to counsel the Forschungszentrum with regard to the conceptualization of a mid-term evaluation of the program and to assist the Forschungszentrum in implementing it. The purpose of the evaluation was to assess the short- and medium-term results of the program as well as the prospects for long-term goal achievement. The objective, further, was to identify potentials for improvement in relation to the program.
Methodologically, the evaluation was based on a mix of qualitative and quantitative data collection and analysis methods. Data collection combines a document and secondary data analysis with guided interviews and semi-standardized online surveys among the project stakeholders. During data analysis, descriptive statistics and qualitative content analysis were applied. Due to the COVID-19 pandemic, the evaluation was planned as a remote evaluation.
Knorr-Bremse Global Care e.V. (KBGC) is planning to implement two WASH projects in Ethiopia and Kenya. The common goal of the two projects is to reduce mortality and morbidity rates from water-related diseases. For this purpose, a series of measures adapted to the framework conditions in the respective implementation regions is planned, such as improving access to clean water, increasing the knowledge and skills of the actors involved, rehabilitating sanitary facilities, disseminating more energy-efficient stoves, health education and, finally, changing attitudes and behaviour among the target groups. These activities are intended to contribute to the improvement of the general living conditions of the target groups.
CEval GmbH is responsible for the scientific monitoring and evaluation of the two projects with the aim of assessing their effectiveness. The implementation will be carried out in close cooperation with national evaluators in both countries, while CEval GmbH is responsible for the preparation of the evaluation design and methodological concept, the training of those responsible for monitoring as well as accompaniment of the entire process.
The Alexander von Humboldt Foundation (AvH) enables highly qualified academics from all over the world to spend longer periods of research in Germany and supports the resulting academic and cultural links between Germany and abroad. The Foundation's network now comprises over 29,000 researchers from all disciplines in more than 140 countries.
To strengthen the Humboldt Network, the AvH's programme portfolio also includes three research fellowship programmes that support researchers from Germany to work at research institutions abroad. The BMBF-funded Feodor Lynen Research Fellowship Programme (FLF) enables German researchers to spend a longer period of time researching abroad. In this way, the existing Humboldt Network abroad is strengthened and the potential of Humboldt alumni abroad is tapped in their function as academic advisors and "door openers" for (junior) researchers from Germany. For the target countries Japan and Taiwan, the Humboldt Foundation cooperates with the Japan Society for the Promotion of Science (JSPS) and the Ministry of Science and Technology, Taiwan (MOST) within the framework of the JSPS Programme and the MOST Programme. The AvH also offers support services for alumni from all three scholarship programmes from the BMBF funding. These include reintegration assistance, return scholarships, renewed research stays, institute partnerships as well as annual conferences and networking events.
The evaluation is intended to fulfil two functions: On the one hand, it should provide an evidence-based foundation for the further development of the programmes in the sense of a formative evaluation. On the other hand, it is to be used to account to the funding agencies and the public for the implementation and achievement of the goals of the scholarship programmes. The evaluation focuses on the extent to which the Humboldt Network has benefited from the three programmes and whether suitable research fellows have been selected with regard to the programme goals.
The evaluation is characterised by a participatory and multi-method approach. The evaluation combines document and secondary analyses with qualitative (guided intensive interviews) and quantitative survey procedures (partially standardised online surveys).
The State Association for the Protection of Birds in Bavaria e.V. (Landesbund Vogelschutz, LBV) is implementing the environmental education project "Kita im Aufbruch – Process support for sustainability in education" between November 2020 and March 2022. The aim of the project is to contribute to the structural embedment of Education for Sustainable Development (ESD) in early childhood care by process support for selected Bavarian day-care centers. The CEval GmbH will conduct an impact analysis of the project. By means of a before-and-after survey of day-care center staff, parents and day-care center operators, the impact of the project on the competencies of the pedagogical staff and the quality of educational offers as well as pedagogical processes in terms of ESD will be investigated. In addition, the CEval team will further analyze to what extent the project contributes to a holistic transformation of the learning and teaching environment towards a structural embedment of ESD in the daycare centers. In addition to pedagogical concepts, this also includes the areas of sustainable procurement and catering in the sense of a sustainable menu. In order to be able to clearly assign observed effects and impacts to the interventions of the project, the impact analysis is based on a quasi-experimental design including comparison groups (daycare centers without participation in process support) into the survey. The team will combine, qualitative and quantitative survey methods in the process of data collection.
To ensure continuous quality control, the Academy for International Cooperation (AIZ) has mandated CEval GmbH for the second time in a row to evaluate customer satisfaction with AIZ services for GIZ projects. For this purpose, a total of eleven GIZ internal clients will be interviewed by telephone between December 2020 and January 2021 and the data will be analysed using descriptive statistics.
The evaluation design is divided into four key areas: communication, consulting and services, functioning and development Orientation. Based on the findings, both strengths and weaknesses of the HCD measures implemented by AIZ as well as resulting potential for improvement will be identified. Finally, the data will be compared with that from the previous year with regard to potential trends.
As a bridge between humanitarian aid and longer-term development cooperation, transition assistance is becoming more and more important, especially against the backdrop of increased conflicts worldwide.
Consequently, the Evaluation Unit of GIZ has commissioned CEval GmbH to conduct an evaluation synthesis of transitional development assistance (TDA) projects that have been or will be implemented in the period from January 2013 to April 2021.
Subject to this evaluation synthesis are nine central project evaluations (CPE) of TDA projects and one CPE of a regional EU co-financed project with similar thematic priorities, implemented in four countries. Thereby, the evaluation covers diverse countries and regions: South Sudan, Somalia, Haiti, Ukraine, Iraq, Turkey, Lebanon, and Jordan. In addition to the CPEs, the synthesis will be based on interviews with project leaders and, when possible, with the respective evaluators. The aim is to identify TDA related and context-specific factors of success and failure of the projects and to derive recommendations for action. Methodologically, the synthesis is based on a mixed-method approach, consisting of a combination of qualitative content analysis and QCA (fuzzy set qualitative comparative analysis).
The German Foundation for International Juridical Cooperation e.V. (IRZ) supports partner countries in the development and consolidation of constitutional and market-economy structures on behalf of and with funds from the Federal Ministry of Justice and Consumer Protection (BMJV) since 1992. Among the approximately 25 partner states are new EU member states and accession candidates as well as other states in Southeast Europe, Central Asia, North Africa and the Middle East. The foundation supports these states in particular in the protection of human rights as well as in the areas of rule of law and justice, civil and commercial law, public law, criminal justice and European law.
The CEval GmbH supports IRZ in the development of a comprehensive monitoring and evaluation concept for the Foundation's program line financed by the BMJV. The service includes the operationalization of the target system of IRZ by means of suitable indicators and the development of a data collection plan. This includes conducting an inventory of IRZ's existing instruments harmonizing them with the new M&E concept. Within the framework of the implementation of the M&E concept, CEval GmbH will carry out a three-day capacity building training for the IRZ staff and accompany the test implementation of the monitoring instruments. Finally, the results of the development process will be documented in a handbook with hints for the practical implementation of the M&E concept.
The cashew value chain offers African producer countries interesting opportunities to create jobs, increase farm and national income and improve food security. So far, however, little use has been made of these potentials. The yields of African producers, at 300 to 550 kilograms of raw nuts per hectare, are far below those in India and Vietnam, and the processing capacities and labor productivity of the processing factories are still too low, so that only a small portion of the raw nuts are processed in the African producer countries. The project "Competitive African Cashew Value Chains for Pro-Poor Growth" of the Deutsche Gesellschaft für internationale Zusammenarbeit GmbH supports the expansion and intensification of the cashew value chain in the six countries Benin, Burkina Faso, Côte d'Ivoire, Ghana and Mozambique and Sierra Leone. The project is based on four levels of action: (i) improving the supply of high-performance seeds/seedlings through research and educating producers through training and consulting, (ii) advising processors of cashew nuts and by-products to improve process efficiency, (iii) intensifying business relations and exchange between all participants in the value chain, and (iv) promoting national and regional framework conditions by advising the relevant ministries and intensifying regional exchange between all actors.
The CEval GmbH was commissioned by GIZ with the central project evaluation. The evaluation will be based on the OECD DAC criteria and thus examine the relevance, effectiveness, efficiency, impact, sustainability and coherence of the project implementation.
Methodologically, the evaluation will be based on the available quantitative secondary data of the project and will be extended by the collection of interviews and focus group discussions with project managers, stakeholders and target group representatives. Due to the current corona pandemic, the project will be implemented as a remote evaluation. The evaluators of the CEval GmbH will work together with local consultants in the African countries who will carry out the data collection in the field.
In January 2019, the Ministry of the Interior of North Rhine-Westphalia (IM NRW) commissioned the NRW State Criminal Police Office (LKA NRW) to develop a prevention and publicity campaign to combat 'cybercrime'. The aim of the campaign was to strengthen the population in NRW in the safe use of digital end devices and thereby reduce opportunities for cybercrime in the broader sense and make the work of the perpetrators more difficult. The cross-media campaign "Make your password strong!" was launched in October 2020.
CEval GmbH was commissioned to carry out an accompanying evaluation for the campaign with the two sub-areas of process and impact evaluation. The aim of the study was to evaluate the implementation process as well as the effectiveness of the "Make your password strong!" campaign and to derive conclusions and recommendations for future police prevention campaigns based on these results.
The evaluation was based on a broad mix of qualitative and quantitative data collection involving all actors involved in the design and implementation of the campaign as well as the target groups. The design also included an experimental trial set-up for comparative impact evaluation of the different components of the campaign. Descriptive and inferential statistical methods as well as qualitative content analyses were realised within the framework of the data analysis.
In international comparison, German municipalities have comparably broad competencies due to their strong local self-administration. These competencies are also very valuable for development cooperation. Within the framework of municipal partnerships, German municipalities and their partner municipalities jointly carry out projects in municipalities of the Global South. In the process, technical knowledge is transferred from the German municipality to the partner municipality. The Service Agency Communities in One World (SKEW in German) offers various ways of supporting the developmental engagement of municipal partnerships.
One of these funding opportunities is the personnel funding instrument "Experts for Municipal Partnerships Worldwide" (FKPW in German). Within the framework of the FKPW program, municipal partnerships can apply for the placement of an expert in the partner municipality to support the creation of local structures and capacity development. The aim of the program is to enhance the value of the municipal partnership and the commitment of the German municipality through the placement of an expert.
CEval GmbH was commissioned by GIZ to conduct a mid-term review of the FKPW program. The aim of the review was to bring together the views of the different actors involved in the program and to give recommendations for the further development of the program. The main objective therefore was institutional learning on the part of the two implementing organizations, GIZ and SKEW. The methodology of the review was purely qualitative and based on the approach of the “open capturing of perspectives”. For the review, interviews and focus group discussions were conducted with representatives of the German municipalities, the partner municipalities, with the experts and the steering team of the programme, as well as with representatives of the responsible department of the German Federal Ministry for Economic Cooperation and Development (BMZ in German) and representatives of various departments within the organizations GIZ and SKEW.
The TU Darmstadt (TUD) pursues the goal of developing working time models and regulations for mobile work that are oriented towards the needs of employees. In this way, the satisfaction of employees with the organisation of working time and place of work is to be promoted. To this end, the TUD Executive Board commissioned CEval GmbH to conduct an employee survey on the topics of working hours and mobile work.
The surveys were thematically oriented in such a way that, on the one hand, the lived practice of organising working time and using mobile work was recorded, and on the other hand, the respondents' satisfaction with this practice as well as suggestions and wishes for the future. Without this being foreseeable when the study was initiated, the Corona pandemic led to considerable adjustments in the design of working conditions during the survey period, especially with regard to mobile work. During the fine-conception of the study, these changes were taken into account by also including questions on the (new) experiences regarding mobile working during the pandemic.
The data collection combined a document analysis with a partially standardised online survey of all employee groups at the TUD as well as guideline-based interviews. The data analysis combined descriptive statistics and qualitative content analysis.
Together with the German Institute for Development Evaluation (DEval), CEval supports three projects on sustainable economic development in Myanmar, aiming to create the preconditions for identifying and assessing their impacts. The support focusses on three projects in the fields of vocational training, private sector development and financial sector reforms, and they should provide the basis for the development of a coherent programme on sustainable economic development.
Therefore, CEval together with DEval will:
contribute to quality, relevance and completeness of the project conceptions and to the implementation of a coherent goal and impact system
establish the preconditions for identifying and evaluating project impacts
contribute to programme designs
conduct an impact evaluation.
To that end, a multi-level analysis and consultation concept has been developed, which consists of
The DAAD understands itself as a modern science organization that strives to continuously improve its effectiveness through continuous learning and the willingness to change its work. This approach is formulated in the DAAD's Integrated Monitoring and Evaluation Concept, which was adopted in 2019. The concept identifies institutional learning, quality assurance, results-based orientation, transparency in processes and legitimacy as important dimensions to which the various monitoring and evaluation activities are geared. Doing so, from an overarching perspective, the strategic orientation of the DAAD and its programs is also to be supported on an evidence-based basis.
The framework contract with CEval GmbH aims to meet the increasing demands for results-based orientation and control in the various funding areas of the DAAD even better by supporting the implementation of results-based orientation and control for existing and new programmes in the AA- and BMBF-funding areas and by accompanying the results-based orientation of newly designed BMZ programmes. To this end, services are provided in the following areas:
Development of results frameworks and indicator catalogs
(Further) development of program-specific monitoring instruments and revision of the program documents according to the requirements of the monitoring concept;
Data preparation and analysis
Capacity Development: internal and external workshops for the implementation of results-based monitoring (WoM)
Methodological and/or on-site support in the context of monitoring visits to project holders
Consultations on further approaches and methods in the field of monitoring and evaluation
Within the framework of its crisis engagement in Iraq, the Federal Government intends to further embed monitoring and evaluation as instruments of learning and quality assurance, accountability and strategic steering. In this context, a joint evaluation of the Iraq engagement of the Federal Foreign Office (AA) and the Federal Ministry for Economic Cooperation and Development (BMZ) was conducted. This was intended to serve as a pilot project and, if possible, as a model for joint evaluations of both ministries in relevant fields of action and at their interfaces. The main objective of this joint evaluation was joint institutional learning. The AA component of the evaluation was realised by a consortium under the leadership of the GFA Consulting Group, in which CEval GmbH was involved; the BMZ component by the German Evaluation Institute (DEval). Both evaluation teams worked closely together in a so called “Arbeitsgemeinschaft”.
The aim of the evaluation was to conduct an independent and comprehensive analysis and assessment of the engagement of the two ministries in order to gain and use insights for (joint) steering. The evaluation provided insights into the relevance, effectiveness and overarching impacts, efficiency, sustainability and connectivity as well as coordination, coherence and complementarity of the Iraq engagement of both ministries. Furthermore, the evaluation provided recommendations for optimising the overall engagement and individual measures, structures and processes in order to adjust the current portfolio if necessary. Finally, learning experiences from the AA-BMZ engagement in Iraq were identified for similar engagement in other crisis contexts. The evaluation also served as an accompanying or final performance review of the country portfolio in accordance with the Federal Budget Code (Bundeshaushaltsordnung).
Methodologically, the evaluation was based on a broad mix of qualitative and quantitative data collection and evaluation methods. Due to pandemic-related travel restrictions, the data collection was realised or managed remotely by the consortium in both Germany and Iraq.
The 'EinTanzHaus' is expected to be a center for contemporary dance in a cultural monument of particular importance in the City of Mannheim. The ‘EinTanzHaus’ team and its director Daria Holme have jointly created the preconditions to develop a dance center in Southern Germany with the exemplary conversion of a protected historic church building, which can open up new perspectives for the dance scene in Germany due to its infrastructure, its stage size, its central location and the artistic experience.
The task of CEval GmbH was to develop and implement a M&E concept that serves for the management of the project and the regular review of goal attainment and impact assessment. Therefore, a target system and value-added indicators for the 'EinTanzHaus' as well as a data collection plan were developed together with the stakeholders in a first step. Further, CEval GmbH was involved in all steps of the data collection, evaluation and interpretation and thus supports the parties involved in the strategic management of the project and the evaluation of the project’s goal achievement.
Moringa SCA SICAR is a private equity fund that has been established as a response to growing interest of the Financial and the Development sector on investments that provide for a financial, environmental and a social return at the same time. Moringa focuses on investments in agroforestry in African and Latin American Developing and Least Developed Countries. It applies agroforestry land use systems on a commercial basis with a nucleus commercial investment approach that integrates large numbers of neighboring smallholder farmers and processors into its business model through contractual arrangements. The Agroforestry Technical Assistance Facility (ATAF) was created by Moringa Partnership to provide technical assistance in relation to investments of the Fund with the goal to amplify and upscale positive environmental and social impacts triggered through Moringa investments.
CEval GmbH has conducted Baseline Rapid Appraisals for two Moringa Investments, focused specifically on the livelihood situation of the farmers and other relevant target groups, such as factory workers. Methodologically, the Rapid Appraisals followed a mixed-methods approach, which included a small survey with farmers for each Rapid Appraisal, as well as interviews with the relevant stakeholders. Rapid Appraisals were conducted for Moringa investments in Benin and Togo.
In the context of of the Sustainable Development (SDG 2030) goals, the United Nations have placed the reduction of social inequalities at the center of international development politics. Against this backdrop, altering social inequalities has gained importance in the field of German development cooperation. The evaluation of the impact of developmental projects on social inequalities requires a set of specific and valid indicators.
CEval has compiled a set of social inequality indicators and developed a systematic approach to categorize the indicators by vertical and horizontal dimensions of inequality, sectors and operational level. CEval has developed the adaption of relevant indicators to the context of german development cooperation and the projects of GIZ.
During the two massive earthquakes in Nepal in 2015, several thousand schools got destroyed. Together with the consortium partners Helvetas and Swiss Red Cross, Caritas Switzerland built and rehabilitated 36 schools in the hard to reach district of Sindhupalchok. The Project encompassed trainings regarding disaster risk reduction, operation and maintainance, WASH (water, sanitation, hygiene) and social interaction with drop out students.
The final evaluation was based on three of the Core Humanitarian Standards (appropriateness and relevance, effectiveness and timeliness, preparedness and resilience) in order to draw lessons-learnt and give recommendations for further humanitarian outreaches.
The evaluation utilized different methods: next to interviews with the leadership of the project, representatives of national authorities, team members, head of schools and mayors; Focus Group Discussions gave voice to school management committees and teachers. A comprehensive survey among hundreds of students, parents and teachers enabled a in-depth quantitative analysis.
The PROBONO Teacher Training program aims at contributing to the improvement of education quality in Tanzania as the results of national final exams indicate a great need especially in the STEM subjects. This is done by delivering a 4-year in-service capacity training in form of workshop activities, providing equipment and infrastructure in their partner schools and fostering a network of education authorities and actors.
The final evaluation was based on the OECD-DAC critieria (relevance, effectiveness, impact, sustainability) in order to derive recommendations for shaping the program´s next phase.
The evaluation utilized different methods: next to interviews with the leadership of the project, project partner and head of schools; Focus Group Discussions gave voice to teachers, students and trainers. A comprehensive survey among all participating teachers and trainers enabled an in-depth quantitative analysis.
In 2016 the Federal Foreign Office (AA) initiated a new communication strategy on flight and migration abroad. This strategy consists on the one hand of direct communication measures such as a dedicated website and information on social media channels, and on the other hand of indirect communication work through project funding by partner organizations. The aim of these efforts is to contribute to a better information base on flight and migration abroad and to strengthen humanitarian and international law principles.
The aim of the evaluation was to assess the achievement of objectives, effectiveness, economic efficiency and sustainability, as well as the impact of the funded projects and the direct communication activities of the Federal Foreign Office, and to use this as a basis for deriving recommendations for future funding and strategy development. At the same time, the funded projects were to be supported in setting up and implementing impact-oriented monitoring of their projects. The evaluation contained summative and formative elements. Thus, the evaluation was intended to support AA-internal learning in the area of communication strategy on the one hand, and to serve transparent accountability on the other.
The evaluation followed a theory-based, participatory approach in which a variety of qualitative and quantitative methods of empirical social research were applied and triangulated together. The data collection included document and secondary analysis at project and programme level, guideline-based telephone interviews with persons in charge at the Federal Foreign Office, field studies in Afghanistan, Iraq, and Nigeria, expert reports, partially standardised and experimental online surveys with project partners and target groups, and the participatory evaluation of an exchange meeting with representatives of the African diaspora.
The Hanns Seidel Foundation (HSS) has been receiving funds from the BMZ Special Initiative on Climate since 2011 and has carried out project activities in the fields of climate, environment and energy in numerous countries since then. The measures in this area are intended to make a contribution to environmental protection and nature conservation as a whole, to combating and adapting to climate change, to sustainable energy supply and resource efficiency, and to sustainable and environmentally conscious agriculture and forestry. A basic strategy was developed from the context of Hanns Seidel Foundation's current work abroad in the fields of climate, environment and energy and its attempts to find solutions to these topics at an international level. This strategy was evaluated by CEval GmbH using three projects in India, Bolivia and Namibia as examples.
From a methodological point of view, the evaluation included a theory-based part, which consisted of the reconstruction of the Theories of Change (ToC) of the three projects. In addition, the three selected projects were evaluated at project level, for which field phases in all three countries and interviews with partners and target groups have been conducted. In addition, the evaluation included a synthesis part which referred to the climate strategy of the Hanns Seidel Foundation in general and in which the results of the evaluations of the three projects were bundled and supplemented with information from the headquarters of the HSS in Munich.
In the framework of its Quality Assurance of CoE Decentralised Evaluation Reports, the Council of Europe has mandated the CEval GmbH to perform an independent quality check of a sample of 32 CoE decentralised evaluation reports prepared by various Major Administrative Entities for the period 2016-2019. The overarching objective of this stocktaking is to support the establishment of an Evaluation Framework and the designing of a Quality Assurance System for the CoE.
Accordingly, the quality check informs about the extent to which the decentralised evaluations fulfil widely accepted international standards in terms of quality and gives recommendations on what aspects to improve; provides an overall assessment of the major strengths and weaknesses of the decentralised evaluation reports; identifies key findings, recommendations and lessons learnt to improve the performance of CoE institutional capacity-building; and finally provides recommendations for the establishment of a framework for quality assurance. The assessment has been conducted based on an analysis grid including all relevant evaluation criteria and indicators, with a detailed guidance, in order to assure inter-rater reliability and thus to provide for maximum objectivity of the results.
Against the background of the increasing digitalisation of all areas of society, the Friedrich-Ebert-Stiftung (FES), whose central task is political education and counselling, has launched the internal project "Digital Education and Counselling - FES digital". Its aim is to anchor digital formats in the FES's education and advisory services.
The FES commissioned schmidt evaluation und CEval GmbH to conduct an accompanying evaluation of the project, which is to contribute to clarifying the project goals and indicators as well as those of the individual digital formats and to continuously monitor the achievement of goals.
Methodologically, the evaluation is based on the analysis of existing secondary data, on a benchmarking with regard to suitable target indicators and target values as well as on the implementation of a baseline, interim and final survey by means of online questionnaires and online self-assessments on the respective status of the digitalisation of the political education offers.
The project “MehrWertKonsum – More appreciation of food and finite resources” conducted by the consumer advice centre of North Rhine-Westphalia aims to reduce carbon dioxide emissions encouraging a responsible, sustainable and climate-friendly consumption. The primary objective of the project is to contribute to saving greenhouse gas emissions. Regarding communal catering, among other things that means to diminish leftovers and to offer more vegetarian dishes with seasonal and regional foods that are organically grown. Information and educational material will be passed to day care centres, schools, youth hostels and their food suppliers, waste will be measured, leftovers on plates and at the service counters will be analysed and suggestions for improvement will be developed. Furthermore, menus will be checked and enhanced regarding to their desirability as well as climate and environment protection. Schools, in addition, will have the possibility to get participative educational services and activities for their students. In youth hostels, there will be a special focus on the communication with the guests to encourage the acceptance of the measures and thus to contribute to waste prevention. The project is funded through the EFRE OP NRW, an operational programme of North Rhine-Westphalia concerning the promotion of investments in growth and employment supported by the European Regional Development Fund, and North Rhine-Westphalia’s Ministry of Environment. Within EFRE OP NRW projects’ greenhouse gas savings (t CO2 equivalents/year) have to be substantiated. Moreover, the following objectives of the field of action “climate-friendly communal catering” should be evaluated:
- To reduce food and catering waste
- To establish climate-friendly and healthy catering offers
- To raise consciousness of and appreciation for food, climate-friendly nutrition and food waste
In the course of the external evaluation of MehrWertKonsum the impact of the project measures will be analysed both on the outcome level (in particular altered behaviour of the target group) as well as on the impact level (greenhouse gas savings). To do so, the evaluation team of CEval GmbH, schmidt evaluation and EBP applies a complex multi-method approach including participant observation, qualitative telephone interviews and quantitative online surveys. The results will be combined with the internal monitoring of the project MehrWertKonsum in a way that greenhouse gas savings can be calculated.
The program 'Securing talents - shaping the future' by the Cusanuswerk aims to support future female leaders. The program focuses on mentoring elements that is tutorial support for scholarship holders by professionally experienced academics. It also focuses on occupationally specific training and support measures as well as on building a peer-network. The CEval has been conducting accompanying external evaluations to ensure quality management since the start of the career support program in 2007. An accompanying evaluation will also take place during the seventh program run 2019/2020. The main task of this evaluation is to provide the responsible employees with management-related information. In this context, questions regarding satisfaction with the offered events, quality of tutorial relationships as well as questions regarding professional and personal use of the relationships for both sides are especially relevant. In regards to methods, the evaluation covers standardized questionnaires of mentees and mentors compared at three points in time.
In 2019, 25 refugee projects were supported by the Representative of the Federal Government for Migration, Refugees and Integration in three areas, i.e. strengthening volunteers in refugee assistance, empowerment and prevention of violence, and political and social participation. The funding aimed at contributing to an improved integration of refugees in Germany. The goal of the evaluation was to assess the goal achievement, efficacy and efficiency of the funded projects and to develop recommendations for future funding of such projects. At the same time the evaluation was to support the projects in setting up and implementing a results-based monitoring system. The evaluation was designed as an accompanying evaluation with formative and summative elements. It also involved a capacity building component. In terms of methodology, the evaluation relied on a mix of qualitative and quantitative data collection and analysis methods. Among others, a document review, guided interviews, focus group discussions as well as an online survey were conducted.
Since 2008, the International Climate Initiative (IKI) is funding initiatives regarding (i) climate protection, (ii) adaptation to the impacts of climate change, (iii) conserving natural carbon sinks and (iv) the protection of biological diversity in developing and newly industrialising countries on a project basis. Overall, the IKI now includes almost 600 individual projects and 2.8 billion euros in funding. The IKI focuses on climate protection which comprises almost half of the projects. There was a first evaluation conducted between 2010 and 2013 that included 115 projects. Within this evaluation, a full survey of the projects completed or almost completed by 2011 was realised. The current initiative aims at the evaluation of the further projects completed by the end of 2019. The individual project evaluations consist of detailed analyses on the basis of the OECD’’s DAC criteria as well as other project specific criteria. In terms of the impact chain, the focus lies on the analysis of the inputs, outputs and outcomes. Higher-level impacts are analysed on the basis of the reliable information available at the point of evaluation.
The research project “Factors for a successful cooperation in vocational training with the People’s Republic of China – a comparison of governmental, civil and private sector concepts” will investigate for the first time whether success factors of international VET cooperation identified in previous research, arranged into a key factor model, also apply to cooperations outside the development cooperation context, in the private sector and in China. On the basis of quantitative and qualitative analyses of state, civil society and private sector VET cooperations, general recommendations for action are generated and individual projects or measures are highlighted as best-practice examples. Conferences and publications will promote comprehensive dissemination, discussion and use of gained insights in international VET research and practice.
Mentoring Hessen is a joint project of Hessian universities and universities of applied sciences to advance the careers of women. The aim is to increase the percentage of women in attractive specialist and management positions in both academia and business. With the help of four different lines of support, young women are supported and guided through the decisive phases of their professional development – from student to professor! The close cooperation with renowned companies and research institutions also opens up career opportunities outside of academia. Through mentoring, training and networking, young women are supported in the decisive phases of their professional development.
The goal of the evaluation was to analyse the implementation of the concept and organisational model of Mentoring Hessen in order to develop recommendations for the optimal further development of the programme based on the findings. The evaluation adopted two perspectives of analysis: 1. analysis of the conception, implementation and goal achievement of Mentoring Hessen: Evaluation of the programme conception and implementation, assessment of the achievement of objectives and effectiveness, derivation of recommendations for optimising the conception, implementation and achievement of objectives; 2. Analysis of the interaction of the stakeholders in the joint project Mentoring Hessen: Analysis of the structure and its functionality as well as evaluation of the interaction of the different groups of actors, derivation of recommendations for the optimisation of organisational structure and cooperation.
The data collection combined a document analysis with a comprehensive secondary analysis of existing data from target group surveys, guided interviews and group discussions. The data analysis combined descriptive statistics and qualitative content analysis.
The Daniel Nivel Foundation aims to improve the relationship between football fans and the police. To that end, the foundation cooperates with national football associations and in 2018 has released funds for two pilot projects, one with the French Football Federation (FFF) and one with the German Football Association (DFB). On the German side, the following idea was developed within the so called “future workshops”: to establish a “joint match day follow-up”, to create a framework for dialogue between football fans and police. In this way, conflicts would be dealt with after match days and solutions for future events could be developed.
The DFB has commissioned CEval GmbH to provide scientific support for this project. The tasks of the CEval GmbH range from the conception of the project (follow-up process, selection of pilot locations, etc.) to the development of suitable instruments for fan surveys and suiting formats for match day follow-ups, as well as the support of the actors in the practical implementation and moderation of the follow-up process. Therefore, different procedures and formats for the match day follow-ups will be tested, in order to present an applicable concept after the pilot phase. All steps are carried out in close cooperation with the DFB project team. There is also a regular, project related exchange with the Fan Projects Coordination Office (KOS) and the German Football League (DFL). The project is scheduled to run from January 2019 to May 2020. In the first half of 2019, a detailed project conception and elaboration will take place, including workshops with all participating actors. In the second half of the year, during the first half of the 2019/2020 season, the developed concept for the match day follow-up will be implemented and tested in cooperation with selected pilot locations from professional football. Central partners are the Fan Projects of the respective locations. Subsequently will be evaluation and, if necessary, an adaptation of the concept for match day follow-up as well as the documentation of the project as a final report.
Since March 2018, the “Führungsakademie Baden-Württemberg (FüAK)” has been offering the "Digital Leadership" programme. The programme comprises various advanced training formats to promote digital skills for managers in the administrative bodies of the federal state of Baden-Württemberg. The aim is to prepare these managers for the requirements of digital shift, to network them with one another and to equip them with the necessary skills for driving and shaping digital change in their institutions. The program's formats include professional training (e.g. programming, design thinking), networking events, learning journeys to innovative companies and topic-specific focus groups. The evaluation focused on the different training formats of the programme. These were evaluated in regard to their effects. The focus was on the outcome level, especially on the short- and medium-term effects of the different events. In the sense of the participatory evaluation approach of CEval GmbH, the theory of change was developed together with the project team. The effects were assessed within the evaluation using a multi-method approach. On the one hand, participant questionnaires were developed and used at the end of an event and after a defined impact phase. On the other hand, interviews were conducted with different stakeholder groups in order to obtain more in-depth assessments of relevant aspects of the programme. In this way, the advantages of both data collection methods were combined and used to evaluate the training formats.
Since 2008 the German Aerospace Center (DLR) and the German AcademicExchange Service (DAAD) are jointly implementing a research fellowship programme with a focus on energy, aeronautics, space and transport related disciplines. The programme aims at contributing to the internationalization of DLR institutes as well as promoting researchers who maintain a relation to Germany as partners and friends. The goal of the evaluation was twofold: On the one hand, it should assess the programme’s medium- and long-term effects. On the other hand, it identified potentials for improvement and come up with suggestions for necessary adaptions in view of a possible future continuation of the programme. In terms of methodology, the evaluation relied on a mix of qualitative and quantitative data collection and analysis methods. Among others, guided interviews, focus group discussions, on-site visits as well as an online survey were implemented.
The German Federal Ministry for Economic Cooperation and Development (BMZ), Deutsche Stiftung Weltbevölkerung, Siemens Stiftung and Hanns R. Neumann Stiftung collectively intend to improve upon the prospects of youths in rural areas of East Africa. Within the joint initiative of “Improved livelihoods perspectives for young people in rural East Africa” they empower youths to actively shape developmental processes and to have their voices heard in the respective policy processes. Further, they intend to improve youths’ livelihoods through enhanced income generation and health conditions. Through this, they also aim to contribute to jointly fight root causes of migration. The initiative is implemented by three local implementing partners in Uganda, namely Action for Health Uganda, Hanns R. Neumann Stiftung Africa Ltd. and WHAVE Solutions.
The objective of this assignment is threefold: To develop an M&E Framework for the program, to support its monitoring and evaluation through the implementation of three assessments (baseline, mid-term and final assessment), and to facilitate learning and exchange during its pilot phase. For achieving these objectives, a participatory approach is employed, focusing on a strong stakeholder involvement from the planning stage through data collection to results interpretation. During the assessments a multi-method approach is applied, based on a quantitative quasi-experimental and a qualitative case-study design for achieving a comprehensive picture of the program’s impact and sustainability, and eventually validating its intervention logic. While the quasi-experimental design comprises the collection of target and comparison group data from approx. 1,000 pax in total, the case-study design includes interviews and Focus Group Discussions with key informants from implementing partners, target groups, local authorities and sector experts.
The Annual Multilateral Performance Assessment (AMPA) is an instrument of the Swiss Agency for Development and Cooperation (SDC) for the annual performance assessment of its priority multilateral organizations. The aim is to assess these organizations as neutrally and independently as possible, with little resource input on the basis of existing and accessible information. AMPA is based on 1) MOPAN reports (external source), 2) the CCM Annual Reports (SDC assessment) and 3) self-assessments of multilateral organizations (e.g. scorecards).
As part of a consulting evaluation assignment, CEval has worked with the client to develop concrete measures to optimize the performance assessment.
One of the key objectives of the Swiss Department on Trade Promotion is to support fair trading conditions with developing countries to which private labels and standards substantially contribute. Accordingly, as part of a donor consortium, the State Secretariat for Economic Affairs (SECO) contributed to the Strategic Fairtrade Funding Programme (SFFP) in Phase I from 2008 to 2009 and Phase II from 2010 to 2013. Main purpose of the harmonized funding was to enable disadvantaged producers to establish stronger linkages to consumers, to gain improved market access and to be empowered for combating poverty.
In 2014/2015 an evaluation was already carried out which examined Phase II of the funding programme. Further research on Fairtrade conducted include, among others, a follow-up impact study at the producer-level, covering six product and context settings, implemented by the Center for Evaluation (CEval GmbH) in 2017/2018. Four years after the SFFP ended, it is now of interest for SECO to assess the level of achievement of the strategic indicators set in the Logical Framework of the SFFP as well as SECO’s contribution to the same.
The objective of the ex-post assessment is hence threefold: (i) to valorise existing information on the effectiveness and impact of SECO’s support to the Fairtrade system, (ii) to complement findings from previous studies with new data on relevance and sustainability of the programme and (iii) to distill key findings, recommendations and lessons learnt in view of the SECO’s future engagement in Fairtrade. To this end CEval will review relevant secondary data and collect additional primary data among stakeholders at FT headquarters, three FT regional networks and FT USA.
In May and June 2018, Saarland was hit by heavy rainfalls which caused high damages in a number of municipalities. As a consequence, the Saarland Ministry for the Environment and Consumer Protection (MUV) commissioned CEval GmbH to review the measures of hazard prevention and disaster management in the wake of these events. For this purpose, an analysis of strengths and weaknesses of hazard prevention and disaster management with regard to prevention, deployment and after-care was carried out in order to lay the foundation for identifying potential improvements and evidence-based recommendations. In addition, the damages caused by the heavy rainfalls should be assessed.
To analyse the strengths and weaknesses of hazard prevention and disaster management, 62 guided interviews were conducted with representatives of the Ministry of Interior, Construction and Sport, fire-fighting coordinators, local aid organisations and mayors of the most affected municipalities. The results of the content analysis of these interviews formed the basis for identifying potential for improvement and deriving concrete recommendations for action. The evaluation of damages in the area of municipal infrastructure, agriculture and private households was carried out quantitatively on the basis of the data provided by the client.
Subject of the meta-evaluation were ADA evaluations of development cooperation projects and programmes implemented between 2016 and 2018. The objective was to assess the quality and usefulness of ADA’s (internal and external) evaluations and to deliver recommendations on how to improve the ADA evaluation tool for the design and implementation of future evaluations.
A document analysis of the evaluation reports was at the heart of the meta-evaluation. Based on a detailed analysis protocol the quality of said reports was assessed. The use of such a protocol, which covered all relevant analysis dimensions, indicators and rating scales, guaranteed the transparency and reliability of the meta-evaluation results. In order to evaluate the usefulness for and use of the evaluations under study, their target audience (e.g. programme managers) were interviewed via guided individual and group interviews and – in order to achieve the greatest possible representativeness of the results – a semi-standardized online survey.
Engagement Global gGmbH was established in 2012 as a central institution to promote and coordinate the development policy commitment of civil society, municipal and private sector actors as well as for development policy information and education work. SKEW – a program of Engagement Global – focuses in particular on the promotion of municipal development cooperation. In order to be able to monitor both the appropriate use of the funds and above all their effectiveness, Engagement Global has created a comprehensive monitoring and evaluation (M&E) system for all departments and programs. Since SKEW was excluded in the development of the monitoring system at that time, CEval and ISPO were commissioned to integrate SKEW into the organization-wide monitoring system.
As with the design of the company-wide M&E system, first the theory of change and indicators were reviewed or developed. Then the objectives and indicators were integrated into the strategical claims of Engagement Global. In order to complete the creation of a monitoring system for the SKEW, a data collection plan were created and the associated data collection instruments will be (further) developed.
Worldwide across all socio-economic backgrounds, cultures and religions, children are exposed to a wide spectrum of risk factors in their daily lives. Considering the complexity and interconnectedness of underlying causes, functioning child protection systems have proven to be key to address risk factors and prevent violence, exploitation and abuse. Kindernothilfe, jointly with Karl Kübel Stiftung, Child Fund and terre des hommes, initiated the project titled “Development and implementation of institutional child safeguarding policies as well as networking with local child protection systems through at least 240 organizations in nine countries in Asia and Africa” in 2014. With the project ending in December 2018, the consortium commissioned the Center for Evaluation in August 2018 to conduct an evaluation to understand the impact of the project as well as retrieve learnings and recommendations for future interventions of similar character. A crucial part of the assignment is to retrospectively develop the Theory of Change (ToC) of the project in a participatory manner, integrating consortium members, national trainers as well as the target group and final beneficiaries in the process. The ToC will guide the evaluation while being further validated during the course of the evaluation. Field visits take place in Ethiopia and South India in October 2018. In total, six partner organizations are visited and interviews and focus group discussions are hold. Children are included in the evaluation by making use of participatory research tools, such as Picture Talk and Smiley-face scales. Each field visit ends with a one-day workshop to which all participating organizations of the respective region are invited. During the workshop preliminary findings and the ToC are shared, discussed and validated. Eventually, data from both field visits is analyzed and findings are reported to the consortium partners.
Together with a consortium of three other European universities (Luleå Technical University, Sweden, Barcelona Tech, Spain and Université de Lorraine, France) the European School of Materials (EUSMAT) at Saarland University offers the international Master’s programme AMASE (Advanced Materials Science and Engineering). Its students have the opportunity to participate in an Integration Week in Saarbrücken right at the beginning of their studies, which aims at providing an orientation with regards to the course of the AMASE programme as well as strengthening the students soft skills through a number of trainings. After the first year of study in the two-year AMASE programme, the students furthermore have the opportunity to take part in a Professional Summer School aiming at facilitating their career entry.
Both events are part of the AMASE support programme and were evaluated within the context of an accompanying evaluation. The main goal was to determine the use of those events for their respective target groups. In methodological terms two standardized surveys as well as a number of focus group discussions were conducted with participants of the two events.
The Landesbund für Vogelschutz in Bayern (LBV) e.V. implemented the project “Towards sustainability at vocational schools” in the school term 2018/19 for the second time. It aimed at mobilizing the youth for matters of sustainability. More precisely, the project was geared towards students at Bavarian vocational schools who find themselves in the important period of professional orientation. The goal was to direct their attention to sustainability questions and to strengthen their awareness of those issues. To achieve this goal, the students were expected to independently implement projects in their respective schools in order to contribute to a more sustainable school life.
The project was subject to an impact analysis, which was jointly implemented by LBV and CEval GmbH within the context of an accompanying evaluation. The purpose was to determine whether the intended effects of the project were actually achieved, that is, whether the attitudes and behavior of the participating students actually changed in relation to sustainability matters and whether those matters are more readily integrated into the everyday life at Bavarian vocational schools. In terms of methodology the analysis was based on a standardized survey before and after the project with both the participating students and a comparison group of students. Furthermore, guided interviews with the teachers who support the students in the implementation of their projects were conducted before and after the project.
The International Program for Development Evaluation Training (IPDET) is an executive training program in development evaluation. Since 2018, it is managed jointly by the Center for Continuing Education at the University of Bern (Switzerland), the Center for Evaluation at Saarland University (Germany) and the Independent Evaluation Group of the World Bank.
IPDET aims to provide managers and practitioners in the field of evaluation with the tools required to evaluate policies, programs and projects at local, regional, national, and global levels, as well as to commission, manage and especially use those evaluations for decision-making. Further information on this year's IPDET can be found on the website: https://ipdet.org/.
CAPAQUA (Development of Educational and Research CAPacity in Eastern Africa for the Sustainable Management of AQUAatic Ecosystems) aims at enhancing the capacity of Eastern African Higher Education, Science and Technology (HEST) institutions. CAPAQUA is jointly implemented by the University of Natural Resources and Life Sciences (BOKU), Vienna, the IHE Delft Institute for Water Education, the Egerton University (EGU), the Addis Ababa University (AAU), the Bahir Dar University and the Ethiopian Institute for Agricultural Research, National Fish and Other Aquatic Lives Research Center (EIAR-NFALRC). CAPAQUA’s overall objective is to foster sustainable management of aquatic ecosystems and their resources in order to improve livelihoods in Eastern Africa and to contribute towards the achievement of the Sustainable Development Goals.
The main purpose of the evaluation was to identify successes as well as weaknesses of the project, and to provide recommendations for the project partners to improve the relevance, effectiveness, efficiency and sustainability of possible future CAPAQUA projects. The evaluation was also analysing the extent to which the cross-cutting issue gender mainstreaming was applied and identified the major factors influencing the achievement or non-achievement of the expected project results and objectives. In order to assess the project, the evaluation focussed on the project period from October 2015 to September 2018.
A rich set of mainly qualitative data was collected by means of in-depth interviews and focus group discussions with different stakeholders, programme participants, graduates as well as staff. Programme and project documentations provided secondary data and was complemented by primary data collected during focus group discussions. The geographic focus of the evaluation was the Eastern African region, with emphasis on Uganda, Kenya and Ethiopia, where empirical data was collected during short field visits. Additionally, Austrian institutions were visited and stakeholders interviewed.
Since 2007 Forum Fairer Handel has repeatedly mandated the implementation of representative surveys on Fair Trade among the German population. In 2018 the most recent survey has been conducted. Apart from various aspects of Fair Trade consumption the survey also covered questions on the attitudes of the interviewees concerning the political claims of Fair Trade.
Forum Fairer Handel has mandated CEval GmbH with the analysis of the survey data. Descriptive statistics have been applied during the analysis. Furthermore, in relation to some questions the differences in responses between groups have been checked. Whenever data from previous surveys was available, developments and trends over time have also been demonstrated.
The Austrian Partnership Programme in Higher Education and Research for Development (APPEAR) is conceived, guided and financed by the Austrian Development Agency (ADA) to implement its Higher Education and Scientific Cooperation strategy in support of Higher Education and Research for Development on an academic institutional level. The funded projects are implemented by the Austrian Agency for International Mobility and Cooperation in Education, Science and Research (OeAD GmbH). APPEARs overall objective is to strengthen the institutional capacities in higher education, research and management through Academic Partnerships with Austrian higher education institutions and through scholarships. The partnerships aim to improve the general standards in higher education, research and management by means of knowledge sharing and designing innovative projects. The achievement of these objectives should finally contribute to effective and sustainable reduction of poverty in the partner countries.
The overarching goal of the evaluation was to assess the ongoing and completed projects of the APPEAR periods I and II. Thereby, it provided insights about the projects adherence to the APPEAR guidelines and basic principles during their implementation, and about the extent to which they were to achieve their objectives and results. Furthermore, the projects were assessed according to the OECD/DAC criteria Relevance, Effectiveness, Efficiency, Impact and Sustainability. The objective of the evaluation was to identify the strengths, weaknesses and challenges of the APPEAR projects and present conclusions, lessons learnt and recommendations for the remaining or future projects.
The evaluation made use of a variety of methods. Primary data was collected during project visits to Ethiopia and Uganda, interviews and focus group discussions with project partners in Austria as well as virtual interviews with staff and key stakeholders of two projects in Nicaragua. The data collection instruments also comprised semi-standardized surveys, programme and project documentations and previous programme evaluations.
The object of this evaluation is the project Media in Libya: Stability through reconciliation (MLSR) of the DW Akademie. MLSR is a follow-up of the precursor project Media in Libya: Stability through Structure. The overall goal of MLSR is to “enable a process of public discourse and eventually reconciliation across a fragmented Libyan society – prerequisites for development of democratic reform and constitutional process in the country.” by “promoting [the] right to access to information to the people of Libya and [the] freedom of expression in Libya” (DW Akademie, 2017, p. 4). The approach of MLSR is fourfold (i.e., four activity clusters): (1) supporting Libyan institutions/authorities efforts in the field of media governance, (2) developing a Libyan Media Network, (3) training local freelance journalists from all regions of Libya with a special focus on ethnic minorities and gender, and (4) providing grants for Libyan media projects.
The evaluation of MLSR can be considered as a planned impact evaluation, which needs valid qualitative/quantitative data on the situation at the beginning of MLSR (i.e., baseline). The second stage of evaluation (i.e., interim evaluation) will start in January 2019. Comparing the results of baseline and interim evaluation, the evaluators will be able to identify and assess the preliminary effects of MLSR. Moreover, the evaluators may give first recommendations on how to improve MLSR (e.g., identification of [un]successful project strategies, alternative actions). The third stage of evaluation will start shortly after the end of MLSR (i.e., January 2021). The main goal of the final evaluation is to assess the effectiveness of MLSR (i.e., achievements in relevant targeted areas).
Taking into account Libya’s highly volatile and difficult context, we will rely on a robust mixed-method approach: secondary document/data analyses, content analyses of short written guided and in-depth oral guided interviews, and statistical analysis of quantitative of survey data.
Plan International is working for many years now in Africa, Asia and the Americas to promote child rights and lift children out of poverty. The German National Office of Plan International was founded in 1989, and has been contributing to funding development projects and programs as well as funding and commissioning external evaluations. Plan International Germany decided to implement a meta-evaluation of evaluation reports conducted between 2013 and 2017 covering all geographical working areas.
The primary objectives of the meta-evaluation were to assess the strengths and weaknesses by analyzing the quality of the evaluation reports, to identify the success and risk factors that may affect their quality and to give recommendations. A particular focus was laid upon the influence of the type of evaluation (i.e. by whom it is coordinated and implemented) and the available resources and timeframe.
The meta-evaluation was based on the analysis of the evaluation reports. The document analysis was structured in two phases. While in the first phase (pre-rating) the completeness of the evaluation reports was assessed, in a second phase (in-depth analysis), a more comprehensive set of quality assessment criteria was applied on a sample of reports, to allow for a more detailed assessment of the validity of their findings and usefulness to their addressees. Comprehensive analysis tools were used to analyze the completeness of the reports as well as the validity of findings and the usefulness of evaluation reports.
Plan International Deutschland e. V. is committed to implement the international minimum standards for the protection of children in humanitarian crises. The project "Protecting, promoting and involving children in refugee camps" is implemented in two refugee camps in Hamburg between July 2017 and June 2018. It aims at strengthening the safety of refugee children and youth, creating a child-friendly environment and ensuring child protection in refugee camps. The overall goal of the project is to reduce the risks for children and young people to such an extent that their well-being is ensured. This is done by creating a positive environment for children and young people in which children's rights are respected.
The overall objective of the evaluation is to assess the project in a summative way. At the same time, in view of the ongoing work with children and young people in refugee contexts, this evaluation also identifies potential for improvement and gives evidence-based recommendations for action. With a strong focus on the OECD/DAC evaluation criterion of effectiveness, this evaluation will show to what extent the project was able to achieve its goals and to what extent its activities were appropriate in this regard.
From a methodological point of view, a participatory evaluation approach and a multi-method approach are applied. The combination of different data collection and evaluation methods will take into account the special requirements of the subject matter and the target group of children and young people. Therefore, the evaluation team will conduct guideline-based expert interviews and focus group discussions and will apply creative methods for qualitative data collection amongst children.
Jointly with a local partner, Knorr-Bremse Global Care e.V. (KBGC) supports a training and rehabilitation project in a community in Grajaú, a slum district in Sao Paolo, Brasil. The project aims at improving the living conditions of the community by qualifying young people for self-sustained income-generation and rehabilitating the area by building wooden houses. Main activities include training of youth in civil construction and set up of sustainable housing by residents of the slum and the trained youth.
KBGC commissioned CEval to establish a Monitoring & Evaluation framework to gather feedback on the training activities and trace quality of life outcomes over time to assess whether the program’s objectives are being achieved. In order to identify the outcomes of the training on the qualification of the participants and their application of knowledge gained, a time-series design was applied, implying several phases of data collection with the help of standardized survey questionnaires. Outcomes of students were traced every six months over a period of three years, with baseline, monitoring and end line reports were drafted after each data collection to support organizational learning and improvement on project design.
For the third time, World Vision Germany (WVG) commissioned CEval to conduct a meta-evaluation of evaluation reports of its supported development programmes. In total, 34 evaluation reports of the financial years of 2016 and 2017 were included, to analyze their quality and validity.
The meta-evaluation was based on an analysis matrix, jointly created by CEval and WVG, which is structured along the main criteria of voice and inclusion, transparency, methodology, triangulation, contribution, satisfaction of information needs, conceptualization of findings and the newly added criterion of sustainability. Firstly, criteria were assessed systematically along pre-defined sub-questions and corresponding scales. Secondly, results were then aggregated and visualized. Lastly, the results were compared with previous meta-evaluations and trends were discussed.
On behalf of the Christoffel Blindenmission (CBM), CEval conducted an evaluation and synthesis of 24 evaluation reports from 2016 and 2017. With its mandate to transform the lives of disabled people in the world’s poorest countries the project focus of CBM has been an exhaustive collaboration with as well as the promotion of local partners in developing countries and conflict areas.
The primary purpose of the evaluation and synthesis was to conduct a general assessment of the evaluation reports’ quality and summarize findings of those reports that pass the quality control. In a first step, to ensure homogeneity of data, the quality of reports was assessed systematically by creating a quality control analysis grid. Reports that fulfil minimum quality standards were then subjected to an in-depth analysis based on the evaluation questions of CBM. Main interest of the synthesis was to drew up general learnings along CBM’s mandate areas and examine the actual contribution of joint projects to changes for CBM partners and clients. Lastly, by employing an online survey directed to end users of project evaluations, the evaluation inquired the usage and usefulness of the evaluation reports for CBM staff members in seven world regions.
Together with the GFA Consulting Group, CEval GmbH conducted a strategic evaluation of the transformation partnerships of the Federal Foreign Office (AA), which have been in place since 2011 as part of the German government's foreign policy to support democratisation processes in Arab countries. The focus of the evaluation was on the areas of rule of law promotion, civil society promotion and foreign cultural and education policy, as well as on the three countries Jordan, Morocco and Tunisia.
The pilot project of the strategic evaluation was in the context of the longer-term goal of expanding the use of strategic evaluation as a steering instrument and anchoring institutional learning in the AA. In addition to examining the procedures and methods actually used to set strategic priorities, the study was therefore also intended to include possibilities for expanding strategic management and improving the link between project implementation and evaluation.
As a starting point for the evaluation, the evaluation team developed results-based framework for the overall strategy of the transformation partnerships, in which both the objectives intended by the AA and possible contextual factors were listed. In addition, results-based frameworks were developed for the priority areas (promotion of the rule of law, promotion of civil society), which were integrated into the impact structure of the overall strategy. Methodologically, both quantitative and qualitative methods were used to collect data in Germany and in the field. The data analysis combined descriptive statistics with qualitative content analysis.
The Ministry for Foreign Affairs of Finland commissioned CEval together with Particip and Indufor to conduct a meta-evaluation of their evaluations of development cooperation programmes and projects. The Finnish Ministry is regularly conducting meta-evaluations and subject to this meta-evaluation are the evaluations from 2015-2017.
The meta-evaluation has been initiated to improve evaluation reports, evaluation management practices and evaluation capacity development and furthermore to identify possible gaps in the Finnish evaluation practice. Furthermore, also the content of the evaluation reports was the focus e.g. the success in achieving the DAC-Criteria and further Finnish Cross Cutting Topics like gender equality or climate sustainability were evaluated.
A document analysis of the evaluation reports has been at the heart of the meta-evaluation to assess first the quality and afterwards the content of the evaluation reports. Different assessment tools were developed to provide a feasible and reliable assessment process. In the quality check the evaluation reports were reviewed for the existence of information essential to understand the evaluation object, process and results. Additionally, methodological requirements were assessed e.g. data and method triangulation or the logical flow from data over findings and conclusions to recommendations. Another tool was used for the content analysis in which the achievements with respect to the different evaluation criteria as well as conclusions and recommendations were analysed in detail in a semi-structured way.
In Germany, there is a dense network of social work institutions in the field of adolescent soccer fans (“fan projects”) that work in accordance with the National Plan for Safety in Sports (German: Nationales Konzept Sport und Sicherheit). A certification of those fan projects has been launched in 2010. Offering fan projects an instrument of quality control, the certification is intended to pursue multiple goals: (a) establishing a common standard for fan projects, (b) increasing confidence in the work of fan projects, and (c) improving the working context of fan projects. The certificate has been awarded by the Quality Management Group of the Centre for Fan Project Coordination of the German Sports Youth (German: Koordinationsstelle Fanprojekte bei der Deutschen Sportjugend). Members of the Quality Management Group belong to several stakeholder groups: soccer, federal authorities (for family affairs), science, and fan projects themselves.
During a first subproject (5/2015-6/2016), CEval GmbH (a) revised the certification process, (b) tested the revised certification process on five fan projects, and (c) developed a standardized, feasible concept for collecting information necessary for certification. Thereby the certificate attests fan projects’ high quality of work.
Within second subproject, CEval GmbH supported the nationwide roll-out of the revised certification by collecting all necessary information on all the remaining German soccer fan projects.
"The BAuA explores the conditions and developments in gainful employment with a view to providing workers with the best possible protection and Support both today and in the future." (s. BAuA-Website). Leading the project Demografischer Wandel in der Arbeitswelt (demowanda) is one of BAuA’s Tasks. demowanda is a demographic monitoring tool, which has been ordered by the Federal Ministry of Labour and Social Affairs.
BAuA realized a self-evaluate of the demowanda project - their collaboration project with BiB, BIBB, DZA, IAB and RKI. The objective of BAuA's self-evaluation was the analysis and evaluation of the project’s implementation process, its outputs, outcomes and impacts.
In order to successfully realize the self-evaluation, BAuA commissioned CEval GmbH to accompany their self-evaluation and to provide them with demand-oriented coaching/training. Employees of BAuA, who are involved in the self-evaluation of demowanda, were enabled to extend their knowledge on self-evaluation. Moreover, coaching/training ensured the conceptual as well as methodological quality of the self-evaluation project.
The demand-oriented coaching included phone and on-site consulting, inhouse trainings and workshops, and support of development evaluation materials/documents.
The German Commission for UNESCO is a Quango in the field of multilateral cultural, educational, Research, and media policy. The website www.bne-portal.de is one of their efforts in contributing to the Global Action Programme on Education for Sustainable Development. The website is considered to open the field of education for sustainable development (German: Bildung für nachhaltige Entwicklung) to actual as well as future protagonists in Germany. After a re-launch in 2016 and an uptime of one year, CEval GmbH is entrusted to evaluate the website www.bne-portal.de.
The evaluation of the website was focused on (a) clarity, relevance, and appeal of the provided information, (b) attractiveness of design and structure, (c) information accessibility, (d) practical relevance of information, (e) usefulness of provided contact channels, (f) degree of fulfilling user expectations, (g) intensity of use, (h) popularity/attractiveness of its education materials, and (h) popularity/attractiveness of its protagonist database.
The evaluation was based on an online user survey followed by quantitative data analysis.
The ASEAN Secretariat (ASEC) and Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) are jointly implementing the capacity building project "ASEAN Secretariat Post 2015 – Institutional Strengthening and Capacity Development (2016-2018)", which has been commissioned by the Federal Foreign Office of the Federal Republic of Germany. Since June 2016 the project has continued Human Capacity Development activities directly and indirectly (through consultants) to support ASEC’s strategic administration departments and staff units. To assess the progress of the current project phase and retrieve lessons learned, CEval was commissioned to conduct a mid-term evaluation based on the OECD DAC criteria, concretizing and complementing the standardized evaluation questions as per context and project management needs. CEval opted to perform a contribution analysis, considering ASEC’s institutional framework conditions and the entire field of actors.
By doing so, CEval applies a participatory, theory-based multi-method approach. In a first step, internal project documentation and secondary data sources are reviewed to gain a better understanding of the project. Secondly, qualitative primary data is conducted from key informant interviews with GIZ and ASEC staff, ASEC focal contacts, the German Embassy, Dialogue Partners at ASEC, external experts and contractors. Thirdly, regarding quantitative primary data collection, an online-based survey is set up and distributed among workshop and training participants. To ensure objectivity, reliability and validity of results, data is triangulated whenever possible. Results of the mid-term evaluation enable informed decision-making of management and foster learning and improvement of present and future initiatives.
The German Strategy for Adaptation to Climate Change (DAS) and the corresponding Adaptation Action Plan are the main pillars of Germany’s climate policy. The Federal Government aims to reduce the vulnerability of the economy, the environment and society to the effects of climate change in the long term. To this end, a number of concrete measures have recently been implemented at various levels. In order to successfully adapt to climate change and to continue to develop the national climate change strategy, it is important to critically reflect on the current process as well as to acknowledge achievements and possible shortcomings.
The overarching goal of the evaluation commissioned by the German Federal Environmental Agency (UBA) was to determine whether the national adaptation strategy represents a successful approach for increasing the adaptive capacity and reducing the vulnerability of natural, social and economic systems to the effects of climate change. The evaluation included three central parts: (1) the process of developing and implementing the strategy on the nationl level (2) the implementation status of the adaptation measures at the federal level and (3), an impact assessment applying contribution analysis of the strategy's effects on the vulnerability and adaptative capacities of natural, social and economic systems.
The Center for Evaluation (CEval) implemented the evaluation together with adelphi. To do so, a methodology developed in a previous project was used which has already been adopted politically. With the use of central evaluation questions as well as a policy impact model, first, data were collected using a variety of methods (semi structured interviews, document analysis etc.). Next, using defined evaluation criteria, a comprehensive data analysis and evaluation was carried out. Finally, the results and hypotheses were reflected in an online-based Delphi method and then further condensed.
The Saarland University (UdS) and the University of Costa Rica (UCR) have been maintaining an intensive cooperation since 2008, which was financially supported by the DAAD programme “Subject-Related Partnerships with Institutions of Higher Education in Developing Countries” between 2012 and 2015. Through the DAAD University Advisory Program, the preceding collaboration had already received financial support. Particularly in the light of an ever-rising need for evaluations and competencies in the field of evaluation, both partners are zealous to continue the collaboration within the framework of the DAAD funding programme and to expand it sustainably by the integration of a second partnering institute of higher education. The Catholic Pontifical University of Ecuador (PUCE) could be won for this objective.
Crucial elements of this third phase of cooperation are supposed to be the implementation of a new blended learning Master’s study program in evaluation at the PUCE, and the implementation of a further educational opportunity in the blended learning format, respectively, at the Center for Research and Training in Public Administration (CICAP) at the UCR, and quality assurance of the formation and further education in evaluation in Costa Rica, Ecuador, and Latin America (amelioration of formation and further education as well as research in evaluation). Moreover, the establishment of a Latin American university network in the discipline of evaluation (network formation and internationalization), the strengthening of practical orientation within the academic formation in evaluation and the contribution to evidence-based policy making (application of scientific evaluative research in political practice), and, eventually, the consolidation and institutional expansion of the cooperation between the universities involved and the research institute CICAP (triangular and South-South-cooperation) are on the agenda of the program. The respective cooperation is intended to last for four years (2017-2020).
Process Evaluation of the career support program 'Securing Talents - Shaping the Future' (2017/2018)
The program 'Securing talents - shaping the future' by the Cusanuswerk aims to support future female leaders. The program focuses on mentoring elements that is tutorial support for scholarship holders by professionally experienced academics. It also focuses on occupationally specific training and support measures as well as on building a peer-network. The CEval has been conducting accompanying external evaluations to ensure quality management since the start of the career support program in 2007. An accompanying evaluation took also place during the sixth program run 2017/18. The main task of this evaluation was to provide the responsible employees with management-related information. In this context, questions regarding satisfaction with the offered events, quality of tutorial relationships as well as questions regarding professional and personal use of the relationships for both sides were especially relevant. In regards to methods, the evaluation covers standardized questionnaires of mentees and mentors compared at three points in time.
TransFair e.V. aims at strengthening the objectives of Fairtrade and enabling producers in the Global South to make a living of the products they produce. Among other things, this should be achieved by establishing long-term and as direct as possible relations between producer organizations in the Global South and markets in the Global North and by complying with standards such as the legal minimum wage, wearing protective clothing, paid vacation and social insurance for workers working on plantations.
In order to assess the impact of Fairtrade on the socioeconomic environment of producers, TransFair e.V. and the Swiss Max Havelaar Foundation had commissioned CEval in 2011 to carry out the impact Evaluation "Assessing the Impact of Fairtrade on Poverty Reduction through Rural Development." The study was the first of its kind to analyze the potential contribution of Fairtrade to improve the living conditions in rural areas. The study design covered the countries Ghana, India, Kenya and Peru and the product categories banana, cotton, flower, coffee, cocoa and tea.
2017, in its 25th anniversary year, TransFair e.V. wanted to follow up on the previous findings and commissioned CEval for the second time, enabling the assessment of longitudinal (comparison over time) and cross-sectional (FT and non-FT case study comparison) changes. A theory-based contribution analysis was applied, considering FT’s Theory of Change and the indicators of the committee on sustainability assessment (COSA). Following a case study approach, the findings were mainly based on primary qualitative data collected via Focus Group Discussions, Key Informant Interviews and observations. A participatory quantitative seed assessment to assess perception changes over the last five years complemented the field research, which took place between October 2017 and January 2018. Findings were, eventually, structured along the economic, social and ecological dimension of the COSA indicators.
CEval was commissioned by the Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) to provide consultancy on the development of a Project Monitoring and Evaluation Framework (PMEF) for ASEAN Cooperation Projects, which is part of the ‘ASEAN Secretariat Post 2015 – Institutional Strengthening and Capacity Development’ project, an initiative under ASEAN-Germany cooperation implemented by GIZ. Prime task was to look into the ASEAN Secretariat’s corporate monitoring and evaluation processes and to provide expert support for refining the ASEAN Secretariat’s Project M&E framework. Special emphasis was put on providing support in harnessing and consolidating the monitoring and evaluation framework for ASEAN cooperation projects.
During the consultancy a number of stakeholder consultations as well as a three-day method training were conducted. The consultations and training served to improve the M&E capacities of key staff and to create a common discussion forum for different departments across the three pillars for exchanging views, and developing ownership and acceptance among the same.
The final report consolidates lessons learned, describes best practices within the sector, and develops concepts, possible mechanisms and recommendations on implementing a functional PMEF.
The focus of this evaluation was the Out-of-School-Children Initiative (OOSCI) by UNICEF and UNESCO Institute for Statistics (UIS). The initiative was launched in 2010 to achieve a reduction in the number of children out of school in participating countries. Means to achieve this goal were to create comprehensive profiles of out-of-School children in each Country, identify the barriers that push children out of school and to propose changes in the policies and strategies of the partner country to address these barriers.
The evaluation aimed at testing the validity of the theory of change and its assumptions. It is used to strengthen the program logic and to provide a formative assessment of the progress towards the overall goal of achieving a reduction in out-of-school children. The evaluation also provides an in-depth insight into benefits for the different stakeholders and their involvement in the initiative. Furthermore, the findings of the evaluation are used to meet the accountability requirements by the donors of OOSCI.
Main source of information of this evaluation have been documents like OOSCI country studies, OOSCI regional studies, government plans and documents from other donors (e.g. the World Bank, UNESCO, foreign donors etc.). In a document review we assessed progress made through OOSCI for a sample of 42 countries and assessed the contents within the document using a 4-step coding. These codings were used for a descriptive analysis and additionally for a Qualitative Comparative Analysis (QCA). QCA enabled us to analyze thoroughly which set of conditions leads to which outcome. Further instrument of data collection has been an online survey to all country offices. Additional qualitative data has been collected in the US and during eight country visits. The evaluation has been conducted together with Proman and further Consultants. CEval took over the lead with regard to the evaluation methodology.
Climate Change and the uninterrupted decline of fossil fuels affect different regions of the world in different ways. Many nations have thus formulated ambitious goals: Mexico for instance is determined to cover one third of its energy production by means of renewable energies by 2024. Despite such ambitions however environmental conservation has not been marked by major success to this date. This is partly due to a lack of dispersion of modern environmental technology. Against this background the GIZ Project “Cooperation Platform Latin America North II (COPLAN II)” scrutinizes central deficits that hinder international investment and cooperation such as a lack of professional expertise regarding modern environmental technology in small and medium enterprises (SMEs).
Within the scope of the present assignment CEval together with iSPO Institute support COPLAN II in its monitoring and evaluation efforts. Starting point for any results oriented monitoring is typically an impact model with respective indicators and assumptions. Changes within the mechanisms of cooperation are however rarely or marginally observed under the monitoring component. The developments of these cooperation systems as well as the feasibility of the project’s instruments are hence at the center of the evaluation component.
All in all, next to monitoring tasks and the compilation of results of individual measures the assignment at hand intends to also generate insights into COPLAN II’s contribution towards a better alignment of development cooperation and foreign trade facilitation as well as public-private sector cooperation on a systemic level.
On behalf of Siemens Stiftung CEval GmbH implemented an external evaluation of the empowering people. Network. Founded in 2013, the network brings together inventors and social enterprises to develop solutions to address basic supply problems in fields such as health, food or education in developing countries. The empowering people. Award aims to identify simple and appropriate technological innovations with business potential and make them visible and accessible to everyone. As members of the empowering people. Network, currently 80 organizations that are implementing best-practice approaches receive long-term support in terms of organizational development, professionalization, and networking with partners.
In 2017, the empowering people. Network was evaluated for the first time since its foundation. The evaluation covered the entire lifetime of the network and its purpose was to account for progress and goals achieved so far and to gain lessons for strategic development. It therefore examined what impacts could be achieved by the respective modules and how these were assessed with regard to the overarching objectives. Leading questions of the evaluation were guided by the OECD-DAC evaluation criteria. It was characterized by a participative multi-methods approach and drew on contribution analysis that combined document/secondary analyses with qualitative (interviews, focus group discussions, case studies) as well as quantitative methods (partly standardized surveys). Lessons learnt and recommendations for the future development of the network were derived from the findings.
Die Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH trägt auf vielfältige Weise zur Lösung regionaler und globaler Probleme bei. Dazu gehören u.a. die Eindämmung der Folgen des Klimawandels, die Bekämpfung von Armut und Hunger oder die Schaffung eines gleichberechtigten Zugangs zu Bildung und Beschäftigung von Männern und Frauen. Für die Erfassung der durch ihre Vorhaben erbrachten Beiträge verfügt die GIZ über eine Reihe von Instrumenten und Verfahren zur Wirkungsmessung und -bewertung. Diese Instrumente und Verfahren sind jedoch im Wesentlichen auf die Berichterstattung an das BMZ ausgerichtet sowie darauf, Erkenntnisse zur Verbesserung einzelner Interventionen (PEVs) oder zur Weiterentwicklung der strategischen Ausrichtung der GIZ im jeweiligen Sektor (USEs) zu generieren. Auf der Ebene der Gesamtorganisation fehlt es jedoch bislang an vergleichbaren Ansätzen zur Darstellung der Beiträge der GIZ insgesamt, bspw. gegenüber der Öffentlichkeit oder dem Parlament (insb. AWZ).
Um die GIZ auch auf dieser Ebene zukünftig auskunftsfähig zu machen, initiierte die Stabsstelle Monitoring und Evaluierung 2014 einen Prozess zur Entwicklung von aggregierten Indikatoren, die Aussagen über den gemeinsamen Beitrag eines möglichst großen Teils der Vorhaben in den verschiedenen Sektoren, in denen die GIZ aktiv ist, erlauben.
In 2009, the Alexander von Humboldt-Foundation (AvH) initiated the International Climate Protection Fellowship (ICPF) for young climate experts from non-European developing/emerging countries. From 2010 to 2015, they supported 100 future leaders from academic and non-academic fields.
The target Groups of ICPF are young academics and future leaders form industry/politics from developing/emerging countries with higher education. Those Groups participate in developing/applying measures of (1) climate protection, (2) climate-related protection of resources, and (3) adapting to climate Change in developing/emerging countries. The ICPF's Goal is to accompany their fellows over a long way: 12-months Fellowship for conducting their own research/research-related projects in cooperation with partners/Hosts in Germany, (2) participation in an alumni program (e.g., fundings for further stays in Germany, invitations to their home institutions abroad for their German partnsers/Hosts, invitations to AvH's Network).
The Evaluation of ICPF examined the extent to which its effects contributed to (1) climate protection and climate-related protection of resources, (2) adapting to climate change in developing/emerging countries. Vital aspects of the evaluation were program-level examination of relevant goal achievements and the analysis of already testable program effects.
The evaluation was based on the DAC criteria. Combining document/secondary analyses with qualitative (extensive partly standarized interviews, case studies)as well as quantitative methods (partly standarized surveys), the evaluation can be characterized by its multi-method approach.
Evaluation report
As part of Engagement Global - Service für Entwicklungsinitiativen (Service for Development Initiatives) the Service Agency Communities in One World in Germany ist the competence Center for local development cooperation. Founded in 2001 the Service Agency offers a platform for dialogue for municipalities in Germany and the South and supports development acitivities of local actors by providing them with Training, Information and advisory Services.
The two programs "Sustainable Municipal Development through Partnership Projects - Nachhaltige Kommunalentwicklung durch Partnerschaftsprojekte (Nakopa)" and "Support Program for Municipal Climate Protection and Climate Change Adaption Projects - Förderprogramm für kommunale Klimaschutz- und Klimaanpassungsprojekte (FKKP)" are core activities of the Service Agency. While Nakopa supports existing and new municipal partnership Projects in selected relevant fields of development cooperation, FKKP explicitly addresses municipal activities in the field of climate protection and climate change adaptation.
After the first Project cycle of three years has been completed, the current Evaluation aims at evaluating These two programs with respect to processual aspects of project Administration as well as Impacts of both the funded partnership Projects and the Support programs Nakopa and FKKP. Leading questions of this evaluation are guided by the OECD-DAC evaluation criteria and will be answered using the approach of contribution Analysis and documentary and empirical data. Hence, the evaluation is based on Monitoring data and Project documents on the one Hand and empirical data gathered through extensive partly standardized interviews and partly standardized online surweys with participating communities on the other hand.
UKS, the Unfallkasse des Saarlandes is the insurance Provider of the legal accident insurance for the public sector of the federal province Saarland. UKS aims at prevention of occupational diseases, work-related health hazards and accidents at work. An important aspect of its efforts in prevention is a premium System to reward members who successfully implemented work safety and health measurements in their operational Organisation and thus did not or only to a small extent rely on expenses by UKS. Beyond rewarding, the earmarked premium is an incentive to enhance the state of health and safety Standards in public sector Enterprises.
In the course of reviewing the premium System UKS engaged CEval to evaluate its guideline to reward successful preventive measurements. The aim of the consultancy Service is the Provision of an improved key-figures based formula to calculate disbursements in premium class 1, which contains the 52 towns and communities of the Saarland.
With this regional Project, PTB Germany aims to reduce the technical barriers to trade by fostering cooperation among the SAARC countries (India, Pakistan, Bangladesh, Nepal, Buthan, Maldives, Afghanistan and Sri Lanka) in the field of metrology, accreditation and standardization. The Project targeted professional and Management staff of national QI-institutions as well as ministries relevant to the QI-System. Amongst others, measures lige Trainings and awareness raising Events have been taken and consultancy has been provided.
The evaluation combined qualitative and quantitative methods (mixed method design). A document Analysis and qualitative interviews with different stakeholders from all SAARC countries during a field visit to Bangladesh, Bhutan and India, and an online Survey of fromer metrology and accreditation Training participants in awareness raising Events have been carried out.
By statistical data and qualitative Content Analysis, the evaluation aims to provide empirical evidence about the relevance, effectiveness, efficiency, impact and sustainability of the Project (DAC criteria) and the success factores for the observed results and change processes (Capacity Works criteria: strategy, cooperation, steering structure, processes, learning and innovation).
Thereby, it will contribute to the further development of the Project approach and ist revision in view of future activities by PTB (in the region). The evaluation results will also be used as a Basis to decide on a follow-up project and on potentially necessary adaptions of its design.
On behalf of the Dutch Ministry of Foreign Affairs (MFA) the CEval implemented an external Evaluation of the Dutch Fellowship Programme (NFP II) and Netherlands Initiative for Capacity Development in Higher Education (NICHE II). Financed by the MFA and administered by the Netherlands Organisation for International Cooperation in Higher Education 'EP-Nuffic', these programs offer capacity development in higher education for developing partner countries.
The overall aim of NFP and NICHE is to help reduce quantitative and qualitative shortage of trained professional staff in developing countries and to build sustainable capacity within the poverty reduction Framework. The NFP provides Fellowships to mid-career professionals to participate in Trainings and postgraduate courses in the Netherlands. NICHE is a capacity building programme to improve the quality, relevance and gender sensitiveness of post-secondary education in NICHE-countries.
The evaluation covered the period of 2002-2015 while a focus was on the latest project phase since 2012 which put an additional emphasis on economic diplomacy and closer alignment with the four priority themes of the Dutch development cooperation strategy (water, sexual reproductive health and rights, security and rule of law and food security). The purpose of the evaluation was to account for the Netherlands funding provided for the two programs under the current project cycle and to gain lessons for future policy development and implementation. Within the scope of the evaluation, both programs were analysed regarding the OECD/DAC criteria of relevance, efficiency, effectiveness, impact and sustainability. Recommendations for possible optimization of the program were developed on the basis of the findings. The evaluation was conducted in cooperation with ACE Europe, a Belgian consultancy.
Purpose of this project was the scientific support of the evaluation of §§ 20a and b in the North Rhine-Westphalian Police Act which became operative as of 1 of July 2013. It concerned the entitlement of receiving information on telecommunication and media data and included further a norm on data collection by the police with technical means. The new legislation has included the evaluation of impacts and a review of the application in practice with the support of an independent scientific expert after three years of experience. The balance between entitling the police with certain rights to inquire and collect data to protect citizens and at the same time limit the intrusion into private data has been a highly discussed topic in politics and public.
CEval was involved in the concretization and operationalization of leading research questions and in the identification of appropriate indicators. It supported the development of the evaluation design, the data collection instruments as well as data collection itself and data analysis. Data was collected in the form of guideline based interviews, focus group discussions and standardized surveys.
Misereor supports a wide range of projects in development cooperation which are conducted by partner organizations. Misereor or the partner organizations assign evaluations for a part of the projects to receive detailed information about the projects and to learn about their achievements and challenges.
Together with .Evaluation.Consulting CEval is in charge of a meta-evaluation of the evaluations conducted from 2014 to 2015. By means of this meta-evaluation Misereor aims to gain information about the quality of evaluations. With the results of the meta-evaluation Misereor can induce adjustments to support the improvement of quality of evaluations regarding different aspects.
The meta-evaluation is guided mainly by the DAC principles and standards. In a first basic check a representative number of studies is analyzed to gain insights into the general quality of evaluation studies. The main criteria of this first check are completeness and appropriateness of documentation and independency, credibility and usefulness of the evaluations. These criteria are assessed by a set of detailed questions which are aggregated in the end.
In a second step a detailed check is conducted for a fraction of studies which appear to be especially useful for learning from them. Additionally to the before mentioned criteria which are analyzed in-depth in this second detailed check, participation and the terms of references are part of the second analysis. The results of the two analyses are evaluated and used to develop recommendations for the evaluation process of Misereor. CEval is in particular responsible for the development of the analysis grids and sample selection. Furthermore, CEval is conducting together with .Evaluation.Consulting the data collection and data analysis.
The aim of this project is to empower the DAAD to be able to cope with the increasing challenges in terms of results-based monitoring and control systems. Orienting itself more strongly to actual developmental results and ensuring a stronger focus on its partners’ needs (managing for results), the DAAD, as mediating party, is depending on evidence based planning, controlling, and reporting of project performing parties (i.e., universities). The monitoring systems to be implemented in this project are considered to increase the quality of information on program activities - in the context of project performing parties’ accounting as well within interactions between project parties in general (i.e., funding organization, DAAD, and university). Thereby, future monitoring systems promote collaborative learning and strategic development of DAAD’s funding programs.
In this project, CEval is mainly working in the following areas: developing of specific results models and indicator catalogues for existing as well as for future funding programs; adapting existing monitoring processes, procedures, and instruments for project planning, project controlling, and project reporting within DAAD’s funding programs; development of program-specific monitoring concepts and their realization. Moreover, CEval will provide employees of DAAD and of universities with training on results-based planning and monitoring (capacity building).
The HEKS/EPER Bangladesh country programme 2013-2016 aims to promote social inclusion of marginalized and disenfranchised minority groups in North-West Bangladesh. The various projects comprised, specifically target the urban and rural Dalit and plain land Adibashi communities who face complex forms of discrimination. The exclusion process is often a driving factor of conflict between the minority communities and the mainstream society. Applying a Human Rights Based Approach and a Value Chain Approach HEKS/EPER wants to foster social inclusion.
After not assessing the impact properly in the past program phase, HEKS now strives to obtain valid baseline data for the following program phase and at the same time to use this data to evaluate the prior program phase. CEval will provide methodological support during the whole process.
The impact assessment of the program will combine a quantitative survey with a contribution analysis. CEval supports HEKS mainly with the quantitative part. It provides the quantitative sampling strategy, gives methodological advice on how to best use before collected data, supervises the development of the data collection tools, and will take over parts of the quantitative data analysis (i.e. match the comparison group).
In 2006, the department of International Development Coorperation of Friedrich-Ebert-Foundation (FES) developed a document to improve Quality Management in international development cooperation, called the QUIZ-Compass. After several pilots and revisions the document became mandatory for all country projects in 2010. About the same time the Federal German Ministry for Economic Cooperation and Development (BMZ) began to work on an improved reporting and porposal System. Thus, in 2012 BMZ introduced new formats which became mandatory for all political foundations.
Given thes developments requirements by the QUIZ-Compass and by the BMZ regulations turned out to be partly overlapping and contradictory. Therefore FES decided to critically Review the QUIZ-Compass. The aim of the evaluation and consultancy Services was first to check whether it is still line with state of the art insights by the impact debate in development cooperation. Secondly, the practicability of the tool was tested. Finally, recommendations to enhance the QUIZ-Compass were derived.
For the second time World Vision Germany (WVG) has engaged CEval to conduct a meta-evaluation of 29 evaluation reports of its long-term Area Development Programmes. The aim of the evaluation was to analyze the reports with regard to their quality and validity. Beyond this assessment, CEval provided recommendations to enhance the design and implementation of future evaluation. Based on the OECD/DAC evaluation criteria relevance, effectiveness, efficiency, impact and sustainability, CEval implemented a two-tier analysis method. According to WVG’s quality criteria (i.e. voice and inclusion, transparency, appropriateness of evaluation methods, methodology, triangulation, and contribution) we first assessed to which extent the evaluation reports complied with various sub-criteria within one criterion. In a second step, we consolidated findings and deviated one aggregated rating per criterion. CEval additionally examined the criteria “satisfaction of information needs” and “organization of findings/conceptualization of change”.
This year, additionally an online survey investigating the utility, usage and usefulness of evaluation findings within WV has been conducted. The semi-standardized questionnaire contained questions concerning the quality of evaluation reports against several criteria, similar to the above mentioned ones to compare the perception of quality within WV with the results from the document analysis. Furthermore, qualitative data has been collected to get insights into the usage, utility and usefulness of evaluation results.
Moreover, CEval evaluated the transparency of WVG’s published impact report. It critically reviewed the report and rated it against the following criteria: comprehensibility, presentation of the relevant information for the target group, methodological approach, validity of the used data and sources, objectivity, and access.
The actors of German cultural relations and education policy (AKBP) face the challenge that the context of their actions is always in interaction with complex, dynamic political and social contexts. This complicates the creation of knowledge in order to manage projects and thus to secure sustainability and effectiveness of AKBP-projects.
Hence, the aim of this research project was to analyze which methods and tools are suitable in volatile contexts to generate knowledge about effects in changing conditions. In addition, the possibilities to use this knowledge for project management was examined. Therefore, on the one hand a stock taking of existing instruments was made. On the other hand more recent approaches for monitoring and decision-making were analyzed with regard to their applicability in the AKBP.
The Foundation Environment and Development North Rhine-Westphalia was founded 2001 and promotes mainly volunteer environmental and development work of civil society groups. The objective of the foundation is to support the environmental and development work in North Rhine-Westphalia (NRW) in order to establish this work in the consciousness and in the practical involvement of the population permanently and at the state of the art.
For this purpose about 1,100 projects of non-profit organisations in NRW were supported with a volume of EUR 47.5 million so far. In addition, the Foundation carries out its own projects, to also promote the implementation of Agenda 21 of the United Nations Conference on Environment and Development in Rio de Janeiro in in 1994.
Within the evaluation, the results and effects of the funding activities of the Foundation were recorded and assessed. Furthermore, the evaluation was intended to find out information on potential inhibitory and / or promoting factors in the funding activities of the Foundation with respect to the foundation goals. Based on these findings recommendations on priorities of the Foundation with regard to content, actors, target groups and the methods and formats will be derived.
CEval applied a mixed method approach to collect relevant data. Therefore, relevant documents and accessible data of the foundation and of funded projects will be analysed. This will be combined with data based on qualitative guideline-based interviews with several stakeholders and standardised online surveys of current and completed projects.
The German Partnership Program for Excellence in Biological and Health Security has been started by the German Federal Foreign Office in 2013. It fits into the G7 Global Partnership against the spread of weapons and materials of mass destruction. The program has been developed by the Robert Koch Institute (RKI) and the Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) on behalf of the Federal Foreign Office. The following goals for the program have been formulated: (1) prevent abuse of biological agents; (2) improve control of biological safety risks; (3) contain spread of dangerous agents; (4) strengthen national health capacities in partner countries; (5) increase German expertise in order to fight biological risks; (6) strengthen international cooperation of German institutes sustainably. In order to reach these goals, the partnership program focuses on the following subjects: surveillance, detection and diagnostics, biosafety and biosecurity, awareness raising & sensitization, networking.
The CEval GmbH was commissioned to conduct an external evaluation on behalf of the Federal Foreign Office. The objectives of the evaluation were to examine the operation, planning, implementation and results obtained by the participating institutions, the analysis of the cooperation with international partners and of the target achievement. Based on these findings recommendations on readjustment/reorientation of program activities for the second phase of the program 2016-2019 were generated.
The evaluation was conducted in accordance with the OECD/DAC evaluation criteria: relevance, effectiveness, efficiency, impact and sustainability. Complementary to the aforementioned criteria, coordination, complementarity and coherence were examined as well.
Since the start of the program, 17 projects have been implemented in more than 20 countries. Within the framework of the evaluation the main objective was placed on the analysis and the assessment of the partners’ activities in the following four countries: RKI+GIZ: Sudan, BNI: regional project GIBACHT, FLI: Cameroon, IMBw: Kazakhstan. For this purpose three-day country case studies were realized on-site by an interdisciplinary team. In the framework of these case studies data collection took place with the people responsible for the conception and implementation of the projects. Document analyses, guided interviews, focus groups (group discussions) as well as inspections and observations were used as methods of data collection.
The Extractive Industries Transparency Initiative (EITI) is a global standard to promote open and accountable management of natural resources. It seeks to strengthen government and company systems, inform public debate, and enhance trust. In each implementing country it is supported by a coalition of governments, companies and civil society working together.
The GIZ has mandated an evaluation of the initiative based on the following objectives:
Evaluate the outcomes, effectiveness and impact (positive and negative, intended and unintended) of EITI against the backdrop of the EITI MDTF Results Framework, and to shed light on the links between transparency, accountability and, possibly, wider development outcomes.
Assess EITI’s theory of change and the EITI MDTF Results Framework in order to develop an improved generic EITI Results Model and assist selected MSGs to develop specific national EITI Results Models and to derive impact-oriented indicators from it.
These objectives and the complexity of EITI‘s context required a tailor-made design. The methodology combined
macro-quantitative statistical analyses
in-depth case studies
participatory approaches to operationalization, data collection and analysis of findings.
Under the coordination of LBN Strategies and in collaboration with further consultants, the Center for Evaluation took the lead in the study component “Approaches and Methodology”.
From October 1998 till September 2012, World Vision implemented a regional development program in the municipality of Malacatán in Guatemala. The program adressed four key areas: health, education, economic development and sponsorships.
Three years after the conclusion of the program, World Vision wants to conduct an ex-post evaluation to appraise the sustainability of ist effects. To this end, the Center for Evaluation works with a local Guatemalan consultancy firm (CONSULTA) on the implementation of a quantitative household survey (including a control group) and qualitative interviews with the target group and relevant key informants.
The Medical Service of the health funds (MDK) in Baden-Wuerttemberg is an organizational self-standing and functionally independent social medical service for the public health funds. On behalf of these funds, the MDK is producing more than 1.6 million reports at 18 different sites. The MDK is planning to implement a Monitoring system to control its functional and its service quality as well as its productivity. This system will be developed in a participatory process including the operative specialist divisions, the personal board and the controlling and quality management departments. CEval is accompanying this process and consults the MDK by developing indicators and implementing the Monitoring system.
CEval was mandated by Planète Publique (Paris) with the accomplishment of a case study in the course of the evaluation of the EU-project „European Dynamics for DEAR Efficiency“. The project aimed on supporting developmental education work in four European regions (Thuringia/ Germany, Picardie/ France, Marches/ Italy und Luxembourg/ Belgium) as well as encouraging the exchange and mutual learning of the participating actors. In Thuringia, different developmental education measures and networking activities on a regional and European level were fostered. For the creation of the case study CEval was carrying out guideline based expert interviews with different project stakeholder.
The German Strategy for Adaptation to Climate Change (DAS) and the associated Adaptation Action Plan are central pillars of German adaptation policy. Over the long term, the Federal Government is pursuing the goal of reducing the vulnerability of the economy, environment and society to the impacts of climate change. In order to achieve this, a number of tangible measures have been implemented at various levels in recent years. For 2019, it is planned that DAS and the strategic elements associated with it are to be evaluated in a progress report.
For the technical preparations for the evaluation of the DAS procedures, CEval GmbH supported adelphi in developing and testing an appropriate methodology. However, such an evaluation sometimes takes shape with difficulties: firstly, the identification of cause-effect relationships between adaptation activities and reduced vulnerability is not unproblematic. Secondly, the development of quantitative, measurable goals represents a major task. The methodology which was developed took account of these and other challenges in the evaluation of adaptation strategies and also developed appropriate solutions.
To this end, adelphi analysed and assessed exiting methods for the evaluation of national adaptation and sustainability strategies. During this process, it was also examined to what extent individual factors can be sensibly carried over into the evaluation of DAS procedures. The outcomes of the evaluation and the suggested methodologies were finally be discussed during several workshops with the relevant political stakeholders. To close, the methodology was tested in a pilot procedure and the insights gained were included in the eventual finalisation of the evaluation method.
CEval was mandated by Physikalisch Technische Bundesanstalt (PTB) to evaluate the project “Set-up of a demand-oriented and regionally harmonized quality infrastructure in the Andean Region”.
The project involved the countries of Bolivia, Ecuador, Colombia and Peru and aimed at improving the services offered by local institutions of quality infrastructure (QI). The evaluation addressed the criteria developed by DAC (relevance, effectiveness, impact, efficiency, sustainability) and the components of the management model „Capacity Works” (strategy, cooperation, steering structure, processes, learning and innovation). Specific evaluation questions were:
How successful was the approach to develop regional QI-services?
To what extent do the partners consider the approach as appropriate?
Which success factors and lessons learnt can be identified?
How successful was the approach to develop sector-specific supply strategies in each country?
Which success factors and lessons learnt can be identified?
First, the evaluation consulted project documents only to assess the possibility to conduct evaluations based solely on documents. After a first assessment of the results, these were complemented by interviews with project staff of the PTB and its partner institutions. >From this, recommendations for future projects and evaluations based solely on documents were derived.
Fair trade has been an issue in Germany for over 40 years now and has received increasing public awareness ever since. The impacts of fair trade in the producer countries of fairly traded goods and products have been the subject of numerous studies. By contrast, insights on how fair trade affects the consumer countries of these goods and products to date are scarce.
The study implemented by CEval on fair trade in Germany addresses this gap. It aims at identifying the societal changes and trends that have been evoked by fair trade in Germany and to determine how the fair trade movement contributed to these changes.
In doing so, a participative approach shall make sure that the expertise and perspectives of relevant actors are adequately reflected in the study. Furthermore, the study approaches its research subject drawing on a theory-based approach and employs a balanced mix of qualitative and quantitative methods.
Data collection will thus encompass an intensive desk study, key informant interviews, focus group discussions, online surveys and computer assisted telephone interviews. The analysis of the data will among others involve qualitative content analyses, time series analyses as well as descriptive statistics. Upon completion of the analyses the findings will be presented in a report and reflected upon with the commissioners and supporters of the study during a final workshop.
The program “Securing talents – shaping the future” by the Cusanuswerk aims to support future female leaders. The program focuses on mentoring elements that is tutorial support for scholarship holders by professionally experienced academics. It also focuses on occupationally specific training and support measures as well as on building a peer-network.
The Center for Evaluation (CEval) has been conducting accompanying external evaluations to ensure quality management since the start of the career support program in 2007.
An accompanying evaluation will also take place during the fifth program run in 2015/16. The main task of this evaluation is to provide the responsible employees with management-related information. In this context, questions regarding satisfaction with the offered events, quality of tutorial relationships as well as questions regarding professional and personal use of the relationships for both sides are especially relevant.
The evaluation concept is based on Stufflebeam’s CIPP model and comparability of evaluation results regarding different program runs since the start of the career support program has been ensured. In regards to methods, the evaluation covers standardized questionnaires of mentees and mentors compared at three points in time. We will also conduct an alumni-survey of mentees that have been supported thus far.
The overall objective of the impact evaluation is to measure and evaluate the investment of the Agricultural Trade and Investment Fund (AATIF) in two of WIENCO¡¦s out-grower schemes in Ghana. In particular, two out-grower arrangements, the Cocoa Abrabopa Association for cocoa farmers and the Masara N¡¦Arziki for maize farmers, are under investigation. The main interest lies in identifying the causal link between participating in WIENCO¡¦s out-grower arrangements and the following outcomes and their development over time:
Productivity Levels
Employment opportunities
Farm and overall household income
Living and working conditions
Risk exposure regarding total household income; and
Farm-households¡¦ risk coping strategies and mechanisms.
This shall provide AATIF with evidence on the effectiveness of funding out-grower schemes. In addition a simplified tool allowing WIENCO to collect data on the key outcomes shall be designed.
The 5-year evaluation will be conducted by a consortium of the Center for Evaluation (CEval) and the German Institute for Global and Area Studies (GIGA), together with Ghanaian partners. A mixed-method approach will be embedded in a profound contextual analysis. The evaluation will combine a quantitative analysis of household and village surveys with qualitative insight into WIENCO's impacts derived from focus group discussions (FGDs) and expert interviews. The reports will provide the counterpart with robust evaluation results while also presenting practical recommendations to improve WIENCO's activities.
In Deutschland existiert in Form von Fanprojekten ein dichtes bundesweites Netzwerk von Einrichtungen der Sozialen Arbeit mit jugendlichen Fußballfans, die nach den Rahmenbedingungen und Vorgaben des Nationalen Konzepts Sport und Sicherheit arbeiten (NKSS). Zu Zwecken der Qualitätssicherung und der kontinuierlichen Verbesserung der Arbeit der Fanprojekte wurde 2010 das Qualitätssiegel ‘Fanprojekt nach dem NKSS‘ eingeführt. Dieses soll zu einer verbesserten Wahrnehmung der Fanprojekte beitragen und den Fanprojekten Handlungssicherheit bieten. Das Qualitätssiegel ist 2012 in das überarbeitete NKSS aufgenommen worden und damit auf hoher politischer Ebene anerkannt. Vergeben wird das Qualitätssiegel von der Arbeitsgruppe Qualitätssicherung, in welcher Akteure aus dem Fußball, der obersten Landes- und Familienbehörden, der Wissenschaft sowie der Fanprojekte vertreten sind. Das Vergabeverfahren des Qualitätssiegels sollte sowohl aus inhaltlicher als auch aus prozeduraler Perspektive überarbeitet werden, um ein Siegel zu schaffen, das ein valides Zeichen für die Güte und Qualität eines Projektes ist. Das Vergabeverfahren soll möglichst objektiv gestaltet sein und Transparenz über die Gründe für eine Vergabe oder auch Nicht-Vergabe des Siegels sichern. Im Rahmen der Überarbeitung des Siegels war es daher Aufgabe des Centrums für Evaluation (CEval), einen Kriterienkatalog sowie einen standardisierten Erhebungsbogen zu entwickeln. Darüber hinaus erarbeitete das CEval in Absprache mit den Partnern ein Konzept für die Umsetzung einer Pilotphase, in der das überarbeitete Qualitätssiegel und dessen Vergabeprozess auf ihre Praxistauglichkeit geprüft wurden. Die Pilotphase wurde mit fünf ausgewählten Fanprojekten umgesetzt. Auf Basis der Erkenntnisse und Erfahrungen der Pilotphase wurden das Konzept und die Instrumente finalisiert.
CEval has been mandated by Physikalisch Technische Bundesanstalt (PTB) to synthesize the results of three PTB instrument evaluations. In 2014 PTB had commissioned separate evaluations of three of its technical cooperation instruments: CALIDENA, QuISP and NMI-Metrology User Relations, of which the first two evaluations have been implemented by CEval. Their findings shall now be aggregated, compared and contrasted in order to extract overarching success factors and lessons learnt and generate relevant recommendations, among others, with regard to the future incorporation of the three instruments into PTB technical cooperation.
To that end, CEval will qualitatively analyze the information contained in the evaluation reports and collect complementary information by conducting a number of qualitative expert interviews. The synthesis results will be presented in an evaluation report and a workshop will be held to present them to PTB management and staff.
The initiative “Schools – Partners of the future” (PASCH), founded in 2008, is part of the central initiatives of the German foreign cultural and educational policy within the current legislature period. PASCH is a worldwide network currently including around 1800 partner schools, which are linked to Germany and especially teach German. The initiative concentrates diversified measures, which are supposed to contribute to establish lively and long-term relations to Germany, and encourage schools, teachers and students to exchange their knowledge and ideas as well as to work together. PASCH is coordinated by the German Federal Foreign Office and is implemented by the Central Office for Schools Abroad, the Goethe Institute, the Pedagogic Exchange Service, the Conference of Education Ministers and the German Academic Exchange Service.
Within the scope of the planned evaluation, PASCH will be analyzed regarding its relevance, efficiency, effectivity, impact and sustainability. It will also be analyzed to what extent the existing offers, processes and structures are suitable instruments for achieving the objectives. Recommendations for possible optimization of the measures, processes and structures and the creation of synergies will be derived on the basis of these results.
The evaluation is divided into two phases: During the first phase, document analyses as well as guided personal and telephone interviews with stakeholders in Germany and selected partner countries (Poland, Turkey and China) will be conducted. The focus of the second phase is then on quantitative online surveys with target groups in China, Turkey and Poland as well as on qualitative and quantitative data collection in another case study country.
In cooperation with the Costa Rican institute CICAP, CEval counselled the GIZ program CADESAN in the Andean region. The regional program supports the development of capacity building measures on decentralization and modernization in the public sector.
The consultancy aimed at providing GIZ and its partners with an analysis and compilation of possible methodological approaches to evaluate the impacts of capacity building and training measures. To that end, various approaches and evaluation designs, their applicability in the respective realm as well as international experiences and practices were analyzed. The results were discussed with GIZ and its partners during a training designed for that purpose.
The Friedrich Ebert Foundation (FES) contracted the Center for Evaluation to evaluate their young leaders program "Agentes de Cambio", which forms an integral part of the Foundation’s work and is active in countries such as Costa Rica, Dominican Republic, Guatemala, Honduras, El Salvador, Nicaragua and Panama. The evaluation aims at understanding the impact of this program as a whole and at identifying country-specific characteristics. Based on these insights, it will provide recommendations for further improvements of the curriculum, adaptations of the project’s objectives and strategies and for improvement of steering mechanisms. Furthermore, the FES will be provided with a practical data collection tool for program monitoring and evaluation in the participating countries.
In this evaluation, the CEval uses a quasi-experimental approach and combines semi-standardized online surveys with focus group discussions and expert interviews.
The Baden-Württemberg Stiftung has awarded the Baden-Württemberg-STIPENDIUM for more than ten years. Each year, up to 1,400 students of all nationalities receive a scholarship for Placements abroad. With the Baden-Württemberg-STIPENDIUM for University Students - BWS plus, the Baden-Württemberg Stiftung supports innovative cooperation of Baden-Württemberg universities. The aim is to establish and expand new relationships with foreign universities and the Lasting intensification of existing contacts.
CEval is commissioned to assess the degree to which the programme fulfils stated objectives. It distinguishes between objectives in term of the programme (e.g. expanding the international network, promoting innovative ideas of students) and in Terms of structure (e.g. improving the awareness of the scholarship programs and of the Baden-Württemberg Stiftung).
CEval employs a mixed-methods approach with regard to data collection. Therefore, relevant documents and accessible data will be analysed. Data will be collected using a standardized online Survey. In addition, a qualitative approach will be carried out by conducting semi-structured interviews with project participants.
Climate change adaption projects require methodologically elaborated Monitoring and Evaluation (M&E) Systems that are not limited to measuring Project Outputs but also Need to include outcomes and further Impacts as well as their attribution to the measures undertaken.
GIZ engaged the Center for Evaluation (CEval) for technical support to develop an operationally viable impact evaluation and provided examples for their applicability in adaptation projects. Results were presented in a guidebook for integrating and using impact evaluation-based M&E approaches in the field of climate change Adaptation. Target Groups of the Framework are ministries, donors, and other related institutions that are looking for the underlying Drivers of Adaptation and evidence-based findings to improve the design of future climate change adaptation projects.
The Heinrich-Boell-Foundation granted since 1990 approximately 3000 scholarships to students and doctoral students of all subjects and nationalities per year. These stipend holders pursued their degree at universities, universities of applied sciences ('Fachhochschulen'), or universities of the arts ('Kunsthochschulen'). It is expected by the Heinrich-Boell-Foundation that scholarship recipients have excellent academic records, are socially and politically engaged, and have an active interest in the basic values of the foundation, basically ecology and sustainability, democracy and human rights, self-determination and justice.
The CEval conducted a tracer study of the promotion of young talent scholarship programme in order to evaluate its long-term impact. The impact of the scholarship programme for the target population was analyzed with a special focus on gender, diversity and the different sponsorship and conveying efforts of the foundation. The CEval followed a "mixed methods" approach with regard to data collection. As a result, existing data and documents were analyzed in detail and data derived from a quantitative online-survey with all previous stipend holders of the hbs was assessed. Qualitative semi-structured interviews with alumni and project managers of the hbs were conducted and form the qualitative part of the analysis.
The Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ), on behalf of the Federal Ministry for the Environment, Nature Conservation, Building and Nuclear Safety (BMUB), supports the Chilean Energy Ministry in the implementation of measures for the diversification of the countries energy supply. One component of this program is a project to promote the development of solar energy use. At the beginning of the project, the quantitative and qualitative factors influencing the effectivity and sustainability and therefore the achievement of the project‘s objectives needed to be identified. Particularly for the documentation of qualitative factors it was necessary to gather empirical data through an expert panel, i.e. structured interviews with energy experts.
In the context of this assignment, the CEval GmbH rendered the following services to GIZ:
• Concept development: Identification of experts for the panel in coordination with GIZ, development of structured questionnaires for each group of stakeholders, development of a concept for future periodic panel interviews, development of a methodological concept for the long-term continuation of the expert Panel
• Realization of the first data collection round
• Analysis and reporting of the first data collection round
• Development of a concept for the identification of quantitative impacts using the qualitative data, applying Stockmann‘s funnel approach”
In July 2014, the Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) started the consultancy project “Structural change for sustainable and inclusive development in Latin America and the Caribbean” together with the United Nations Economic Commission for Latin America and the Caribbean (ECLAC). Currently, the project utilizes a monitoring system which allows tracking activities and consultancies carried out by ECLAC (inputs) and their utilization (outputs). Long-term impacts are not considered yet in this approach.
The Hertie-School of Governance (HSoG) was commissioned to elaborate possible methodological approaches to evaluating medium-term and long-term impacts of (policy) consulting in the specific context of the ECLAC project. Besides experience in policy consulting, this process also requires expertise in evaluation research and practice; therefore, the HSoG approached the Center for Evaluation (CEVAL) for collaboration.
The consultancy comprises three work packages:
A general review of theoretical approaches to the evaluation of policy consulting (considering qualitative methods of empirical social research);
A review of practical experiences from policy consulting, if possible in similar contexts;
An outline of a methodological approach to measuring medium-term and long-term impacts based on the results of the first two work packages and adapted to the specific context of the collaboration with ECLAC.
CEval primarily contributed to the third work package and developed a methodological approach which combines a overarching impact and program specific outcome M&E. The approach proposed comprises a mixture of methods such as document analysis, standardized (online) surveys and guided interviews with a panel of experts.
Um die eigene Arbeit kontinuierlich zu verbessern, um als Organisation aus gesammelten Erfahrungen Lernprozesse zu initiieren und um der Rechenschaftspflicht gegenüber dem Zuwendungsgeber nachzukommen, gibt die Abteilung Internationale Entwicklungszusammenarbeit (IEZ) der Friedrich-Ebert-Stiftung (FES) pro Jahr circa zehn externe Evaluierungen in Auftrag.\r\nIm Rahmen einer Meta-Evaluierung wurde das Centrum für Evaluation (CEval) mit der Analyse von 18 Evaluierungsberichten beauftragt, die zwischen 2012 und 2014 in einer Phase erstellt wurden in der sich das Qualitätsmanagement der IEZ stark weiterentwickelt hat. Ziel der Meta-Evaluierung ist es systematische Stärken und Schwächen der gängigen Evaluierungspraxis zu identifizieren, daraus Erkenntnisse für die Verbesserung der Qualität von künftigen Evaluierungen abzuleiten und so deren Nützlichkeit für Projektleitungen und die zuständigen Referate zu erhöhen.\r\nWährend die Qualität der Evaluierungsberichte in einer Deskstudie analysiert wird, finden darüber hinaus vertiefende Experteninterviews und Fokusgruppendiskussionen innerhalb der FES statt um die Nützlichkeit der Evaluierungen zu bewerten.
In February 2013, the Federal Ministry for Economic Cooperation and Development (BMZ) published an action plan for the inclusion of persons with disabilities (PWDs). In doing so, it follows its duties emanating from Article 32 of the UN Convention on the rights of PWDs. The action plan provides information on strategic goals and actions to design development cooperation of the Federal Republic of Germany towards a better inclusion of PWDs.
To asses the Progress and to steer the implementation of planned an appropriate Monitoring and reporting system is necessary. Hence, the Center for Evaluation (CEval) has been contracted to Support the sector project "Inclusion of PWDs" of the German Agency for International Cooperation (GIZ) and the department 300 of the BMZ with its methodological Expertise to develop an Analysis grid to evaluate the implementation of the action plan.
Im Rahmen der Projektevaluierung wurde geprüft inwiefern das Sektorvorhaben Inklusion von Menschen mit Behinderungen der Deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) entwicklungspolitische Wirkungen entfalten konnte.
In Anlehnung an die OECD-DAC Kriterien wurden Experteninterviews und Fokusgruppendiskussionen geführt sowie M&E-Daten des Sektorvorhabens und weiterführende Dokumente systematisch ausgewertet. Damit wurde ein Beitrag zur Rechenschaftslegung gegenüber dem Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) geleistet, durch die Veröffentlichung eines Kurzberichts den Anforderungen der International Aid Transparency Initiative (IATI) nachgekommen sowie die Grundlage für die Planung einer Folgemaßnahme gelegt.
In February 2013, the Federal Ministry for Economic Cooperation and Development (BMZ) published an action plan for the inclusion of persons with disabilities (PWDs). In doing so, it follows ist duties emanating from Article 32 of the UN Convention on the rights of PWDs. The action plan provides Information on strategic Goals and Actions to design development cooperation of the Federal Republic of Germany towards a better inclusion of PWDs.
To assess the progress and to steer the implementation of planned acitivities an appropriate Monitoring and reporting System is necessary. Hence, the Center of Evaluation (CEval) has been contracted to Support the sector Project "Inclusion of PWDs" of the German Agency for International Cooperation (GIZ) and the departement 300 of the BMZ with its methodological expertise to develop an Analysis grid to evaluate the implementation of the action plan.
The „Media in Libya- Stability through Structure“ project had the main goal of supporting the introduction of modern media legislation in Libya and to strengthen the country’s media institutions. In addition, the project should contribute to strengthen independent and professional journalism in the provinces of Libya. The project had a total duration of 30 months and was funded by the European Commission within the SPRING program. The project was controlled and implemented by the Deutsche Welle Academy (Department of Media Development, Team Africa) in cooperation with the Institute for War and Peace Reporting (IWPR). The activities of the project were divided into four activity clusters, of which DW Academy three realised, while IWPR edited one. CEval evaluated in this project clusters 1 to 3, which were in responsibility of the DW Academy.
The evaluation of the project was divided into a baseline, an intermediate and a final evaluation at the end of the implementation phase. CEval followed a mixed-methods approach for data mining. An in-depth analysis of already existing documents was carried out as well as own surveys (standardized online surveys of the participants of the trainings and qualitative guideline interviews with external experts and officials DW Academy).
CEval has been mandated by Physikalisch Technische Bundesanstalt (PTB) to conduct the evaluation of CALIDENA, a participative approach to systematically and sustainably support the improvement of national quality infrastructures in developing countries. The evaluation will systematize the experiences that have been made with the instrument so far and, on that basis, aims at delivering relevant information for the enhancement of the instrument and its transfer to and application in new contexts.
To that end, CEval employs a mixed-method approach. Data will be collected using qualitative expert interviews, quantitative surveys, participant observation and group discussions. Once the analysis of the data thus gathered has been finalized, the evaluation results will be presented in an evaluation report and nurture the overall evaluation synthesis of various PTB instruments in the area of quality infrastructure development, which is also being implemented by CEval.
In 2013, Saarstahl AG Management introduced Performance appraisals between Supervisors and their Managers (Mitarbeitergespraeche, short: MAGs) to the company's human resource Management. These annual talks take place in private, Independent of any particular incident or Event and on a non-hierarchical Basis. The aim of the MAGs at Saarstahl AG is to improve orientation towards the company's targets and its corporate culture, to promote employee Training and development and to improve cooperation within the Company.
The evaluation of the 2014 MAGs assessed if they were well-received among employees as well as Management in their second year and if Trends concerning acceptance and implementation could be identified.
Special focus has been laid with the following aspects: preparation of employees(seminars, Information material); implementation and communication of target Agreements as well as employee Support and development strategies, General manageability of this tool regarding Content and structure.
Additionally, the study evalated if and how MAGs can be considered as an appropriate tool in human resource Management and if they triggered improvements in Saarstahl AG managerial culture. The aim was to evaluate MAGs in their present form and to identify potentials for optimisation.
In close cooperation with Saarstahl AG, CEval developed and contucted a standardised online Survey among employees at all levels of the Company. Quantitative data of this year's Evaluation was complemented by data collected in the 2013 MAGs study in order to allow a longitudinal Analysis.
Plan International is a non-religious, non-political and non-governmental development organization working to bring lasting improvements in children’s lives in Africa, Asia and Latin America.
In order to strengthen the promotion of gender equality and to engage boys and men in this work, Plan International Germany and Plan International Finland together with four Plan country offices from the region of the Americas implemented the pilot project „Adolescent Boys: Champions of Change on Gender Equality and Girls Rights“. The project built the capacity of male youth as peer educators for gender equality and was carried out in five countries: El Salvador, Guatemala, Honduras, Dominican Republic and Germany.
The Center for Evaluation (CEval) evaluated the pilot project using quantitative and qualitative methods, identified lessons learnt and designed a monitoring and evaluation framework for the future implementation and upscaling of the project.
As international Christian development organisation, the Christian Blind Mission (CBM) aims at improving the human rights situation and the inclusion of people with disabilities. Awareness raising is one important component to achieve this target successfully. To learn how awareness raising activities are implemented, how they contribute to CBM’s overall aim and how project and country specifics produce different results, CBM Germany has engaged CEval to evaluate four projects and to compile findings and recommendations in a synthesis report.
With co-funding, either by the European Union or by the German Federal Ministry for Economic Cooperation and Development, CBM Germany implements two projects addressing the needs of people with hearing impairment in the Palestine Territories (Gaza and Gaza Strip), one project to improve eye care and rehabilitation in India, and one project to strengthen disability rights and inclusion in Swaziland. Given the diversity of these projects, issues of awareness raising can be studied from various perspectives. Thus, analysing the different underlying assumptions and needs which in turn lead to various approaches and expected outcomes, will contribute to a better understanding of the overall topic of awareness raising. While the projects in Gaza and India require a mid-term evaluation as they are still on-going, the projects in Gaza Strip and Swaziland are close to their end and will be finally evaluated
The objective of the consultancy was to develop an organization-wide results-based monitoring and evaluation (M&E) system, and implement it together with the program staff. Due to the complexity of the results-model that had to be captured, comprising a total of 17 education and support programs, community development programs and services as well as the overarching organizational goals, the assignment had to be research-based. With this scope it is the first wholistic results-based M&E-system on organizational level in the field of Development Cooperation.
According to the system complexity and the large number of involved stakeholders (management, program staff, community actors, civil society organizations, German Federal Ministry for Economic Cooperation and Development), the assignment followed a multi-stage, participatory approach. Starting point was an inventory of the indicators, data collection instruments and analysis methods that were already used by Engagement Global’s programs and services. Based on reconstructed and validated results-models, in the next step it was checked to what extent the effectiveness of the programs and services were covered therewith, and which information gaps still existed. Thereby, particular focus was laid upon the identification of the programs’ contributions to the achievement of the organizational goals of Engagement Global. In the following, the instruments were further developed together with the program staff and practically tested. The results of this development process was finally documented in a comprehensive M&E-concept and integrated into the organization-wide quality assurance system, accompanied with appropriate staff trainings.
The Center for Evaluation (CEval) has been mandated to conduct an evaluation of the blended-learning course ‘Quality Infrastructure for Sustainable Development’ (QuISP) which was developed and implemented by the Physikalisch-Technische Bundesanstalt (PTB). The course aims at improving the Quality Infrastructure (QI) in developing countries by building up individual and institutional capacities particularly with regard to standardisation and related disciplines.
The objective of the evaluation is to provide relevant information for the improvement of the QuISP training course with regard to its future implementation and potential scaling up.
World Vision Germany (WVG) has engaged CEval to conduct a meta-evaluation of 34 evaluation reports of its Area Development Programmes. The aim of the evaluation is to analyse the reports with regard to their quality and validity. Beyond this assessment, CEval will provide recommendations to enhance the design and implementation of future evaluation.
Based on the evaluation criteria relevance, effectiveness, efficiency, impact and sustainability, CEval will implement a two-tier analysis method. According to WVG’s quality criteria (i.e. voice and inclusion, transparency, appropriateness of evaluation methods, methodology, triangulation, and contribution) we first assess to which extent the evaluation reports comply with various sub-criteria within one criterion. In a second step, we consolidate findings and deviate one aggregated rating per criterion.
Moreover, CEval supports WVG in the production of their impact reports by critical commenting and methodological counselling.
On behalf of the Federal Ministry for Education and Research the Project Management Agency of the German Aerospace Centre (DLR) implements the programme activities of the German-Egyptian Research Fund (GERF). The programme activities to evaluate comprise two rounds of funding (GERF I: 2009-2011, GERF II: 2011-2013/14) supporting German-Egyptian research projects in the fields of Biotechnology, Energy Efficiency, Renewable Energies, Water Desalination, Health, and Natural Resource Management.
CEval was contracted to conduct both, an ex-post evaluation of GERF I and a mid-term evaluation of GERF II. Hence, we do not only assess the outcomes of GERF I, the downstream impacts as well as their sustainability, but also analyse the implementation process of GERF II with regard to design and efficiency. Finally, we derive recommendations for pursuing GERF II and for future funding cycles.
IMMOEBS e.V. is the alumni and sponsor association of post graduate and master programs of real estate economics at the European Business School and the University of Regensburg. IMMOEBS was founded in 1991 and has about 2.600 members at the moment. It is the major alumni network of real estate economics in Germany.
CEval is commissioned by IMMOEBS with the conduction of a member survey. The general purpose of this online survey is the assessment of IMMOEBS and its activities by its members as well as the identification of potentials for development and adaptation requirements.
In 2011, a structural reform was carried out in the law enforcement authorities in Saarland, which was accompanied by a closing of institutions. Against the background of hitherto changes, the study aims to analyze the effects on working conditions, motivation and health of the employees in Saarland law enforcement authorities. In addition, the study will provide specific conclusions and recommendations derived from the collected data in order to optimize the institutional change and to further develop a sustainable institution-specific work and health management.
CEval follows a "mixed methods" approach with regard to data collection. As a result, existing documents and data derived from a quantitative paper-pencil-survey, qualitative semi-structured interviews and group discussions are analysed in detail.
Up to the present innovative environmental technologies are not sufficiently utilized in Mexico and Central America. One reason is the missing extension of modern environmental technologies in this region. That is the initial point of COPLAN (“Cooperation Platform of Latin America North”): The objective of COPLAN is the extension of (German) environmental technologies in Mexico and Central America to make a contribution to environment protection. In the last years the German environment economics has led the way worldwide and was responsible for many innovations in the area of application-oriented technologies. Three questions were the base of the survey, namely a) What is the export potential of the German industrial sector of environmental technologies? b) Correspond the German supply with the potential demand in Mexico and Central America? and c) Which export barriers exist and how they can be overcome?
Because of the intended project effects in Germany it was necessary to create another impact-orientated monitoring-system in Germany beside the local impact-orientated monitoring-system in Mexico. The central task was to create an impact-orientated Monitoring and Evaluation System for measuring the intended outcome of COPLAN in Germany. For this purpose the main task was to develop an extensive indicator raster and an investigation plan for implementing two panels measuring the changes of the two target groups, the German enterprises of environmental technologies on the one hand, and central multipliers of the German environment economics on the other hand. Following the development of the M&E system, the CEval was tasked with implementing the first wave of the panel design. This included quantitative as well as qualitative data collection methods (standardized survey with participating companies, a comparison group and multiplicators, analysis of documents and secondary data, guided expert interviews).
The importance of multinational corporations for furthering global economic and social development is well established. Corporations invest in foreign countries, provide jobs, and thus generate formalized labor relations and income. Furthermore, they pay taxes that contribute to the provision of public services. At the same time, multinational corporations particularly have received criticism by being accused of supporting exploitative employment conditions and human rights abuses, causing environmental deterioration, and failing to mainstream responsible conduct in developing countries.
The GLOBAL VALUE project developed an innovative framework for assessing impacts of multinational corporations on issues related to sustainable development, working conditions, human rights, transparency, and anti-corruption. It shed light on institutional arrangement; analysed systems of governance for responsible business practices; explored responsible competitiveness; assessed the complementarity of public and private sector activities; and derived recommendations for decision makers in business, policy and non-governmental organisations.
The project was carried out by universities and civil society organisations from Europe and ICPC countries. A toolkit for impact evaluation was developed and tested in close collaboration with leading multinational corporations (BATA (garment, Bangladesh), OLAM (food, Tanzania) and NOKIA (ICT, India)).
The main responsibility of CEval was the development of an indicator-set for the framework which is based on Millennium Development Goals, human rights, gender & diversity, and anti-corruption & transparency and takes corporate management approaches (supply chain management, life cycle analysis and base-of-pyramid) as well as systems of governance for responsible business practices, competitiveness, and complementarity with official development aid (ODA) into account. In addition, it carried out two research case studies focusing on the complementarity of ODA with multinational corporations´ activities.
Object of the evaluation is the implementation of the
Internet strategy concept developed by the Goethe Institute (GI), known as ‘Country Web Portals as a Cross-cultural Internet Platform’. GI adopted this concept in 2011 and based its activities on it following the guiding principle that
- interculturalism and dialogue are to be seen as active principles of the Goethe Institute,
- the personal experience of meeting and communicating through multimedia and online interaction is of importance,
- the platform offered online is characterised through (some) diversity and durability and
- users can participate and contribute content.
Thus, the intercultural platforms target both the transfer of information as well as cross-cultural awareness and Exchange.
The evaluation study will examine whether the objectives of the country web portals have been achieved and the intended target groups have been reached. In addition, the analysis includes the question on how effectively these web portals have enabled information transfer and promoted intercultural exchange. Also, the evaluation will provide specific conclusions and recommendations derived from the collected information in order to further develop the concept or the country Portals.
CEval follows a "mixed methods" approach with regard to data collection. As a result, existing documents and data derived from an online survey of the GI are analysed in detail. Additional surveys will also be conducted (qualitative guideline based interviews).
„Talente sichern – Zukunft gestalten“ (Securing Talents - Shaping the Future) is a leadership development programme for young women run by Cusanuswerk - scholarship body of the Catholic Church in Germany. Mentoring and coaching by experienced academics and professionals as well as building a peer network constitute the main elements of this programme.
Since its launch in 2007, the quality of the programme has been assessed annually by means of external process evaluations conducted by the Center for Evaluation (CEval), and a similar evaluation will be carried out in the programme’s fourth year 2013-2014. This evaluation is designed to provide responsible members of staff at Cusanuswerk with information relevant to secure a successful performance adapted to the participants’ specific needs. Therefore, questions about overall satisfaction with offered courses and the quality as well as the professional and personal benefits of mentoring activities for both mentees and mentors are of particular interest.
Evaluation concepts of previous years have proven efficient. However, this year’s evaluation will be extended by applying the CIPP (Context, Input, Process, Product) model, while simultaneously ensuring comparability with results generated since the project launch in 2007. Methodologically, the evaluation process is based on standardised online questionnaires, which mentees and mentors complete at three different stages of the programme, the aim being to identify potential difficulties and appropriate solutions sufficiently early in the process.
The project Energising Development (EnDev), implemented by the GIZ, is a joint initiative of the governments of Australia, Germany, the Netherlands, Norway and the United Kingdom. Focus of this stove assessment study is the Energy Coordination Office (ECO), also known as EnDev Ethiopia. EnDev Ethiopia supports the development of a commercial stove sector and sustainable stove market not only by improving the business and technical skills of stove producers but also by strengthening the demand side of households.
The objective of this stove assessment study is therefore
to analyse and assess the project intervention in three regions in Ethiopia by using the EnDev internal sustainability criteria and the HERA Sustainability Assessment Framework (HERA – Poverty-Oriented Basic Energy Services);
to generate recommendations for future steering of EnDev’s project implementation.
Following a mixed methods approach, the study relies on standardised and qualitative methods of data collection in addition to the document analysis of relevant project and sector papers. CEval contributes to the study by providing its methodological expertise in data collection and analysis.
Partner: Institut für ZukunftsEnergieSysteme (IZES) gGmbH
Description
In order to reach a broad acceptance for grid extension within German society, information and communication actions on a large scale are necessary. First, Module III of the project provided an overview of existing and planned actions. Subsequently, the implementation of selected information and communication measures were analyzed to identify effects on attitude change towards grid extension, contributing factors and opportunities for optimization.
In this cycle of independent evaluations, there are three international development programmes (all executed by the GIZ) to be evaluated by CEval:
Promoting sustainable use of resources and local economic development in Honduras (PRORENA), Honduras
Sustainable resource management and promotion of entrepreneurial competencies (MASRENACE), Nicaragua
Developing and strengthening competencies and capacities to manage natural resources in Central America (Alianza de Aprendizaje)
The evaluation aims at studying all emerged (positive, as well as negative, intended as well as non-intended) changes in order to define the project results. Based on the logic of the “funnel approach”, first all sector relevant changes are detected and then the causal link to the programme interventions are analysed (-->result attribution).
To attain the relevant information and to construct the counterfactual situation, CEval uses a mixed-methods approach. Concretely, CEval performs the following services:
Developing an overarching results model of the three interventions based on the project documents for assessing the project results,
Conducting qualitative interviews with key actors and focus group interviews with beneficiaries,
Administering a quantitative survey on the level of beneficiaries,
Bio-technical analyses of soil samples and biodiversity factors (e.g. investigating the basal area and the number of tree species).
As a final step, the cross-cutting analyses of all three programmes are merged in a synthesis report.
The purpose of the evaluation is (i) to assess the extent to which UNICEF’s contributions to programme interventions addressed major child rights violations in education, reduced equity gaps and led to impact results for children; and (ii) to draw from learning practices, innovations and models for future UNICEF country programming processes.
The objective is, therefore,
to document and report on impact results in terms of changes in children’s life
to assess and demonstrate how such results were made possible through system changes; and
to document the contribution of UNICEF to these system changes.
In addition, the evaluation ensures that mechanisms for the assessment of impact results embrace issues of
contextual adequacy (regarding tailoring programming approaches to the qualitative differences between inequities);
coordination (with other stakeholders);
(iii) coherence (across policies and other supporting interventions); and
protection (in terms of adequacy of the response of the respective education systems to protecting vulnerable groups).
Ultimately, the evaluation will make a contribution towards improving future programming by adapting it to the specific groups of children out of school.
In 2013, Saarstahl AG Management introduced Performance appraisals between Supervisors and their Managers ('Mitarbeitergespräche', short: MAGs) to the company's human resource management. These annual talks take place in private, Independent of any particular incident or Event and on a non-hierarchical Basis. The aim of the MAGs at Saarstahl is to improve orientation towards the company's Targets and its corporate culture, to promote employee Training and development and to improve cooperation within the company.
The evaluation of the 2013 MAGs was commissioned in order to Analyse if the implementation process had been successful. A special Focus wa on the following aspects: preparation of employees (seminars, information material); implementation and communication of target Agreements as well as employee support and development strategies; General manageability of this tool regarding Content and structure.
In close cooperation with Saarstahl AG, CEval developed and conducted a standardised online Survey among employees at all levels of the company. In preparation, guideline-based interviews were conducted with those members of staff responsible for the implementation process as well as with selected employees at different levels of the company.
The Saarland Institute for Vocational Training and Further Education in Psychotherapy (SIAP) was founded in 1995 and is part of Saarland Heilstätten GmbH (SHG; association providing a range of health care Services in Saarland). SIAP is a state-approved training centre, amongst others for Counselling with a Focus on psychological approaches as well as Children and Youth Counselling.
For both programmes, SIAP commissioned Consulting sservices, including an Evaluation, in order to a) identify potentials for improvement in teaching structures and b) develop a questionnaire for ongoing Quality assurcance.
Analyses were based on existing files and records, programme documents and a review of relevant literature, but mainly on guidline-based and group interviews with all relevant actors: students (at different stages of their Trainings), teachers for practical sessions, lectures and Supervisors.
Special Focus has been laid with the question if and how optimisation of teaching processes can take pressure of programme participants while simultaneously providing a targeted preparation for their future work in counselling. Encompassing systematic data analysis resulted in a Brief evaluation report including recommendations for programme development.
Subsequently, a questionnaire for ongoing Quality assurance of both programmes was developed which took results from previously conducted literature Reviews and qualitative interviews into consideration. Additionally, CEval developed a guideline which enabled SIAP to collect and Aanalyse data independently after the end of the evaluation project.
Increasing knowledge about conditions of how preventable infections in health care systems originate and spread has legitimately caused growing public interest in the prevention of these infections. The aim of this project was to develop an encompassing model of an integrative, cross-sectoral intervention, working towards the prevention of bacterial resistance and nosocomial infections in existing regional networks. A range of measures based on a variety of different health care structures and institutions have been applied, using different methods from disciplines such as infectious disease medicine, teaching and learning theory, differential psychology and social sciences. This form of integrative health care research was new in Germany, and its innovative approaches to infection and resistance prevention were meant to provide new results as a basis for implementing universally applicable recommendations and guidelines.
The overall aim of this project was to further develop existing processes and measures of controlling antibiotic resistance and preventing nosocomial infections within the networks MRSAar/netz (‘Network for MSRA Prevention and Control Saarland’) and MRE Rhein-Hessen (‘Network against Multi-Drug Resistance Rhineland-Palatinate and Hessen’), mainly focusing on ambulant hospital units.
CEval supported this interdisciplinary research project through evaluating different information and prevention interventions by means of empirical surveys and analyses, using both qualitative methods of data collection and analysis as well as quasi-experimental study designs with matching statistical analyses in order to achieve a reliable impact-analysis. Based on the synthesis of the findings in infectious disease epidemiology, biometry, social research and differential psychology, the study generated results that are significant for the practical implementation of, for instance, guidelines or recommendations for the prevention of infections and the prescription of antibiotics.
The Hanns Seidel Foundation (HSF) has been committed to development cooperation for more than 35 years and has been working in Kenya since 1987. In 2013, the Foundation set out to conduct an impact evaluation of its activities in the area of civic education in Kenya for the first time. These activities first and foremost comprise civic education workshops.
This impact evaluation aims at providing empirically and methodologically sound evidence of the HSF’s civic education workshops in Kenya and making an estimation of the workshops’ expected sustainability.
To answer the evaluation questions an elaborate quasi-experimental design was chosen that is characterized by having several measurement times and by including two comparison groups. The different measurement times allow observing direct effects of the interventions as well as a (potential) change in these effects over time. The comparison group approach enables us to control external effects on the target groups on the local and national levels. Data collection is implemented by a team of students of the University of Nairobi who have been trained for this specific task by the CEval.
The Unit for Co-operation between Science and the Working World (KoWa)in cooperation with Arbeitskammer (Chamber of Labour) Saarland commissioned the research project “Labour Market for Graduates in the Greater Region (Saarland and Rhineland-Palatinate in Germany, the Grand Duchy of Luxembourg, the French region of Lorraine and Belgian Wallonia).” The intended use of this study is to provide findings about graduates’ labour market opportunities in Saarland, as well as about favourable and constraining conditions for graduates who wish to enter the border-crossing or the Saarland labour market. Thanks to previous research, it is known that graduates face considerable difficulties when trying to gain access to the border-crossing labour market, despite a number of specialized placement services or study programmes which both involve several universities in the Greater Region.
Yet, an encompassing, representative survey among graduates of higher education institutions in Saarland, focusing on motives and backgrounds of the decision if or if not to search for jobs in neighbouring foreign countries during their transition into employment, has not yet been conducted. Also, there is hardly any information about those graduates from Lorraine, Luxembourg and Wallonia who search for jobs in Saarland. This study aims at providing the lacking data by conducting a graduate survey among all students who graduated from Saarland University during the last eight years. Via email and via postcards sent to their home addresses, graduates will be invited to participate in an online survey. Additional graduate surveys at different universities of the Greater Region are being planned.
Since 2009, the Cusanuswerk has implemented a new process for selecting scholars, called ‘Erstsemesterauswahl’, parallel to the existing selection process. This compressed method, which is still in the pilot phase, allows a much earlier access to sponsorship by the Cusanuswerk. Now that three cohorts of scholars run through the final selection process of the ‘Erstsemesterauswahl’, the new method should be evaluated.
The task of the evaluation assigned by the Cusanuswerk is to assess the predictive validity of this new method. Here, the former previous selection process and the new method will be compared by questioning the participants of both processes using standardized online survey and analyzing existing data and documents.
Subject of Evaluation was the EU-funded project ‘Talking about migrants’ lives in Russia’ of the DW Akademie and the Foundation for Independent Radio Broadcasting. The project aimed to increase awareness about the situation of migrants within Russian society by strengthening cooperation between the Russian media and civil society organizations (CSOs) who are working on migrant issues. In order to achieve this goal, training activities for radio journalists and CSO activists were provided. The workshops aimed to introduce the CSO activists to agenda-setting mechanism of the media and to equip the journalists with storytelling skills and in-the-field reporting skills in order to do genuine social reporting on migration issues. Following the training activities the workshop participants took part in panel discussions where they presented their media productions and exchanged experiences on the reporting on migrant issues. A major medium-term outcome of those activities was the establishment of a sustainable network between CSO activists and radio journalists.
Goal of the summative ex-post evaluation was to analyze and assess the short- and medium-term outcomes of the training workshops. For this purpose the evaluation additionally analyzed to what extent the project’s web platform, the panel discussions and organizational aspects in general influenced the expected outcomes.
For data acquisition, CEval GmbH followed a mixed-method approach combining in-depth stakeholder interviews, document as well as secondary analysis of module evaluation surveys. Additionally a standardized online survey in Russian of all workshop participants was carried out.
Subject of the evaluation was the EU-funded project of the Deutsche Welle Academy (DWA) „East4South - Development Awareness from the Roots". The project’s overall goal was to raise awareness about development issues among EU-12 citizens and positively changing their attitude towards EU development policy. The project aimed specifically at enabling the EU12 journalists to prepare high quality media products covering development issues and to publish them in their home countries’ media by providing training in intercultural journalism and on-site research and a media production stay in Africa for young journalists from EU-12 countries. In the course of the project a total of 60 young journalists from Eastern Europe and Africa were fostered and supported when creating their own network.
Goal of the summative ex-post evaluation was to verify and analyze the outcome of the project activities and the quality of the project management. The CEval GmbH followed a mixed-method approach combining in-depth stakeholder interviews and secondary and document analysis of module evaluation surveys and participants’ short reports with a standardized online survey of all participants.
The project "Lab2Venture: Entrepreneurial Thinking and Acting in Labs as Learning Environment" was run by DJKS (German Children and Youth Foundation), 'LeLa - LernortLabor' (project by the National Association for Student Labs in Germany) and the 'TheoPrax centre' at Fraunhofer Institute for Chemical Technology. "Lab2Venture" was aiming the enabling Student labs to accompany interested students in their scientific Projects while simultaneously making students realize that Setting up their own businesses is a realizable option.
Over the course of one year, i.e. the project's three modules, ten student labs were accompanied and supported in connecting scientific and technical topics with the business world and in setting up student businesses. In these ten sutdent labs, the target group were about 200 young People aged 14 to 17 woho conducted experiments and Research and developed ideas for their products in module II of "Lab2Venture".
Additionally, scientists, teachers, lab staff and student assistants working in the selected labs were also part of the target group. Their Job was to promote and disseminate entrepreneurial knowhow through their teaching activities in the long run.
Involving Programme participants, the main objective of this Evaluation was to gain systematic feedback on the project and to relate the empirical results with the qualitative achievementof project Targets. With regard to the development and potential Extension of the Programme after the end of this Pilot project in 2013, the process orientation was attributed particular relevance in course of the Evaluation. Accordingly, the main Task of this Evaluation was to assess repeatedly if objectives regarding both target Groups have been met, i.e. to which extend students and lab staff have learnt about, applied or followed up on entrepreneurial topics.
For the process-oriented Evaluation of "Lab2Venture", CEval GmbH applied a panel design which was based on a combination of qualitative and quantitative data collection and analyses methods. Data had been collected in the course of the Programme at three different Points in time.
Das 2003 gegründete Netzwerk ‘Northern Dimension Partnership in Public Health and Social Well-Being’ (NDPHS) zielt auf eine Verbesserung der gesundheitlichen und sozialen Bedingungen in den Ländern des Northern Dimension Area ab und legt hierbei seinen Schwerpunkt auf die nordöstlichen Länder Europas.
Aufgabe der unabhängigen Evaluation des Netzwerks war es, die NDPHS-Aktivitäten der ersten fünf Jahre seit Bestehen des Netzwerks zu analysieren und Empfehlungen zu dessen Weiterentwicklung zu erarbeiten. Hierbei standen die Struktur und Organisation des Netzwerks, dessen politische Bedeutung sowie Wahrnehmung und die Identifikation wichtiger politischer, technischer und administrativer Handlungsfelder im Zentrum des Interesses.
Zur Datenerhebung wurden Sekundäranalysen, Intensivinterviews mit ausgewählten Netzwerkpartnern sowie eine standardisierte Befragung mit Vertretern aller beteiligten Länder eingesetzt.
The DAAD scholarship programme „Deutsche Auslandsschulen“ (German schools abroad) exists since 2001; since 2008, it is integrated into the initiative „Schulen: Partner der Zukunft“ (Schools: Partners for the future – PASCH) of the Federal Foreign Office. The programme aims at offering the most talented and high-performing graduates from German schools abroad (including, since 2004, so-called Sprachdiplomschulen and since 2010, so-called Fit schools) scholarship-funded academic education prospects in Germany immediately after graduation, thereby tying them to the German academic landscape and economic market. In so doing, it is hoped that the scholarship holders and programme alumni will act as multipliers for German and bilateral concerns in science, politics, culture and the economy.
Besides assessing the degree to which the programme has achieved its objectives, the evaluation commissioned by DAAD addresses the appraisal of key programme parameters and programme implementation. In this context, another key issue to be addressed relates to the question to what extent the scholarship programme is integrated into the PASCH initiative. Based on the evaluation results, recommendations for further programme development and its integration with other DAAD and PASCH measures will be elaborated.
For data acquisition, CEval GmbH follows a mixed-methods approach, combining the analysis of programme documents and statistics with a series of in-depth stakeholder interviews, several standardized online surveys and participant observation.
Cooperation Partner: University of Kassel, Faculty of Organic Agricultural Sciences, Organic Farming and Cropping Systems
Currently, established research evaluation procedures are largely based on peer review publications, citation based indicators and third-party funds. However, the focus on the "scientific impact" only partially captures to what extent research contributes to solving societal or ecological problems. An increasing number of scientists and initiatives point out the responsibility of (public funded) science to contribute appropriate solutions for problems like global warming, food safety and loss of ecosystem services and research evaluations should set incentives to do so. This project was aimed at contributing to the implementation of complementary assessment of activities and impact of research regarding the needs of practice and society.
Concepts for an evaluation beyond scientific impact do already exist for inter- and transdisciplinary research, applied agricultural research and broader/social/societal impact assessments and are partly used by funding agencies. They include criteria for productive interactions between research and society, which make an impact probable, as well as the impact on practice and society itself. Nevertheless, broader use of the existing concepts is hampered by the lack of reliable, easy to use data.
The main task of the project was the further development and testing of a documentation and evaluation concept for agricultural research. The concept was defined to be broad enough to include all productive interactions and impacts of different types of agricultural research and can be used for the evaluation of scientists, institutions, projects and programmes. This requires a structured, standardized documentation in a database-system that enables to filter, aggregate and analyse data in different ways.
In order not to increase the effort necessary for scientists to document their projects, the developed documentation system is connected to general documentation procedures in proposals and reports for research funding but also includes project independent research.
The project developed and tested the structured documentation system and an assessment framework. This included three perspectives: Scientists responsible for documentation, funding agencies and evaluation experts. Furthermore, the project engaged in the development of applicable and accepted pathways to implement such evaluation in alignment with agricultural research and other relevant stakeholders and experts.
Since 1977, IFAD has worked to raise productivity and income of rural poor populations to overcome poverty and improve the quality of their lives. In its long history, the Fund has developed and implemented various programs and projects all over the world. Scaling up micro-irrigation systems in India, Madagascar and Guatemala (SCAMPIS) is one of the IFAD’s latest projects, financed by COOPERNIC with a budget of 3 million Euro. In the period of 2008-2012, it has aimed at improving livelihoods and food security of 30.000 smallholder households in the three pilot countries of India, Madagascar and Guatemala by providing them with micro irrigation systems (MIS) and liquid organic fertilizer systems (LOF).
Before the program is phasing out in December 2012, an external evaluation of SCAMPIS is conducted in order to assess the achievement of program objectives and outcomes. In particular, according to the Terms of Reference, the evaluation should pursue three objectives:
• The review has to assess the achievement of the programme objectives and outcomes with regard to its components and corresponding target groups.
• Lessons learnt and recommendations have to be provided for IFAD with regard to improvement of design and implementation of future programmes. Replicability and scaling up are core concepts in this context.
• Special attention has to be put on the sustainability especially with regard to any future activities to be implemented by the different stakeholders along the water value chain of MIS/LOF.
The CEval evaluation team will visit each project country for 12 days to conduct interviews with main stakeholders in the implementing organizations, key persons along the MIS value chain and the primary beneficiaries. In addition, a quantitative survey will be conducted in each of the three project countries to learn more about the impact MIS has on food security in different country contexts. Finally, IFAD’s perspective is taken into account by using data from interviews with most important representatives for the SCAMPIS project.
Gegenstand der Evaluation waren zwei aus Mitteln des BMBF-geförderte Fachprogramme des DAAD, die beide 2005 begonnen wurden und Ende 2012 ausliefen. Ziel des Programms „Moderne Anwendungen der Biotechnologie – Postdoktoranden-Austausch mit ausgewählten Ländern in Mittel- und Osteuropa“ war es, besonders qualifizierten Nachwuchswissenschaftlerinnen und -wissenschaftlern mit Stipendien die Möglichkeit zu geben, für bis zu 12 Monate mit eigenen wissenschaftlichen Vorhaben an der Forschung selbst gewählter Institute an Hochschulen und außeruniversitären Forschungseinrichtungen im In- bzw. Ausland mitzuarbeiten. Damit sollten ihre Vernetzung in wichtigen Feldern der modernen Biotechnologie gefördert und ggf. Kooperationen angestoßen werden.
Das Programm „Studieren und Forschen für Nachhaltigkeit“ verfolgte das Ziel, die internationale Fachkommunikation und die Vernetzung zwischen Instituten, Studierenden und Wissenschaftlern in Deutschland und im Ausland zu entwickeln. Dazu wurden an besonders qualifizierte Studierende, Doktoranden und Postdoktoranden aus Deutschland, den BRICS-Staaten sowie der Mongolei Langzeitstipendien für Studium bzw. Forschung in ausgewählten Feldern der Nachhaltigkeitsforschung vergeben und die Durchführung von Sommerschulen gefördert. In einer dritten Programmlinie wurden zusätzliche Forschungsstipendien für Doktoranden und Postdoktoranden aus China und Deutschland vergeben.
Im Rahmen der Evaluation der beiden Programme sollten Aussagen über die wissenschaftliche Qualität der Stipendiatinnen und Stipendiaten und ihre persönlichen Motivationen für die Bewerbungen sowie die Nachhaltigkeit der Förderung und Vernetzung gewonnen werden. Weiterhin sollte die Erreichung der Ziele der Programme untersucht werden. Aus den gewonnenen Erkenntnissen sollten Schlussfolgerungen und Empfehlungen für die Gestaltung vergleichbarer Fachprogramme abgeleitet werden.
Zur Datengewinnung folgte das CEval einem „mixed-methods“ Ansatz. Dabei wurde eine vertiefende Analyse bereits vorhandener Dokumente vorgenommen und es wurden eigene Erhebungen (qualitative Leitfadeninterviews und standardisierte Onlinebefragungen) durchgeführt.
Evaluation as a scientific means to describe and assess interventions is gaining relevance worldwide. The needs for qualified evaluation professionals are increasing in Uganda, too. However, at the moment these needs cannot be satisfied due to lack of training- and evaluation programs in this region. It is for this reason that the BMZ together with CEval and GIZ initiated a program for developing evaluation capacities in Uganda.
The most important component of this program is the development and implementation of a master course in evaluation in the blended-learning format at Uganda Technology and Management University (UTAMU) in Kampala, Uganda. Blended-learning is an innovative concept which is gaining popularity worldwide and is now the default means of teaching at UTAMU. Blended-learning unites traditional face-to-face classes with modern forms of e-learning in a didactical coherent way. An advantage of this concept is, that it is possible not only for Ugandan students to attend classes but also for all students of English-speaking African countries.
The Master of Evaluation of Saarland University in cooperation with HTW Saarland serves as a template for the Ugandan Master, which will be introduced in fall 2015. The contents of the master program have been developed in cooperation with CEval GmbH, the teachers of the German master as well as Ugandan contact persons of Makarere University and have been adapted to the Ugandan context. The Ugandan Master of Monitoring and Evaluation will comprise 15 modules in total, seven of which are in compliance with the basic teaching program of evaluation at Saarland universities. This is to ensure that all topics relevant to acquire profound knowledge in the field of evaluation are covered. UTAMU has complemented this program with further modules regarding project management, monitoring as well as business start-up consulting. The modules are roughly comprised of web-based trainings, e-tutoring and face-to-face seminars. The teaching concepts have also been developed in cooperation with all stakeholders. The GIZ is responsible for the technical implementation of the e-learning concepts.
Two modules of the master of evaluation have been tested in an experimental phase together with UTAMU. During this experimental phase e-tutoring as well as the face-to-face seminars have been supervised in the tandem-principle by teachers of UTAMU and Saarland University/HTW. The hosting of the online study course has been undertaken by the GIZ platform GC 21. In a next step, the seven modules have been integrated into the already existing UTAMU master and the new course of study has been submitted to the responsible committees. The course of study is now aggregated and will be introduced experimentally. A decision about whether the course of study will be continued and which modifications would be necessary for this procedure, will be made in December 2016.
The evaluated project "Diakonie and Caritas (Protestant and Catholic social welfare organisations) as Places of Sustainable Lifestyles and Procurement" was launched on November 1, 2010 and ended on April 30, 2013. The project aim was to improve the sustainability of procurement in institutions providing inpatient care for the elderly, children and young people and people with disabilities. At the same time, staff, residents and visitors were informed and encouraged to adopt sustainable Lifestyles. In addition, approaches to reduce the use of resources and to introduce sustainable procurement Standards tested in pilot Projects were intended to be nationally disseminated and implemented in Diakonie and Caritas institutions as well as in non-church-based social welfare organisations.
The Evaluation was formative, accompanied the process and began one and a half years into the project. It should provide relevant findings for the remaining Duration of the project and its planned continuation. Broadly speaking, a detailed Content description of the four project phases was compared to its current Status at the beginning of the Evaluation. More specifically, the aim was to document activities which had been realised when the evalzuation began, to obtain Information on the achievements of sub-Targets ("Improving Procurement Regarding Sustainability Standards", "National Dissemination of the Project", "Creating Network Structures") and to identify potentials for optimisation. Special Focus has been laid on Institution Management and staff and how they can be motivated to pursue sustainable procurement.
CEval applied a mixed method Approach focusing on qualitative Guideline-based interviews and standardised online surveys to collect relevant data. Data and method analyses were enhanced by document analyses.
Die UNESCO fordert von ihren Mitgliedsstaaten die Einrichtung nationaler Kommissionen, die zu einer effektiveren Ausgestaltung der Mitgliedschaft beitragen sollen. Dementsprechend hat die Bundesrepublik Deutschland die Deutsche UNESCO-Kommission e.V. (DUK) eingerichtet. Neben Beratungsaufgaben von Regierung und Parlament bearbeitet die DUK gemäß ihrer Satzung weitere Aufgaben wie bspw. die Mitwirkung an der Ausgestaltung der Mitgliedschaft Deutschlands in der UNESCO, die Förderung internationaler Verständigung, die Leistung eines Beitrags zur friedenssichernden Arbeit der UNESCO oder das Unterrichten der Öffentlichkeit über die Zwecke und die Arbeit der DUK.
Das Centrum für Evaluation (CEval) wurde mit der Evaluation der Arbeit der DUK beauftragt und bearbeitete dabei unterschiedliche Aufgabenstellungen. So wurde eine Bewertung der von der DUK erbrachten Beratungsleistungen für die Bundesregierung und das Parlament vorgenommen. Zudem wurden die Ziel- und Steuerungssysteme der DUK analysiert sowie die Arbeitsabläufe innerhalb der DUK einer Prozessanalyse unterzogen. Schließlich wurden unterschiedliche Programmbereiche wie die „Kontaktstelle kulturelle Vielfalt“, das Kooperationsprojekt mit afrikanischen Nationalkommissionen und die Aktivitäten der DUK im Zusammenhang mit den „UNESCO-Biosphärenreservaten“ evaluiert.
Die Ziele der Evaluation leiteten sich aus ihren Aufgabenstellungen ab und bestanden unter anderem in der Entwicklung erkenntnisbasierter Empfehlungen zur Optimierung des Beitrags der DUK im Hinblick auf das Ziel der Bundesregierung, die Rolle Deutschlands in der UNESCO zu stärken und zur Optimierung der Zielerreichung der DUK. Zudem sollte die Evaluation zur Optimierung der Arbeitsabläufe hinsichtlich Wirtschaftlichkeit, Prozess- und Produktqualität, Wirksamkeit und Relevanz sowie zur Optimierung der Instrumente zur Erfolgsmessung, u.a. im Hinblick auf die Notwendigkeit der Rechenschaftslegung gegenüber dem Auswärtigen Amt, beitragen.
Die Herangehensweise des CEval ist grundsätzlich theoriegeleitet. Mit Blick auf die Validität der Forschungsergebnisse waren für die Evaluationskonzeption sowohl theoretische Modelle als auch methodische Grundannahmen bedeutsam. Auf der theoretischen Ebene war im Hinblick auf den Evaluationsgegenstand vor allem das organisationstheoretische Wirkungsmodell von besonderem Interesse. Aus methodischer Sicht kamen ein Multimethodenansatz sowie der partizipative Evaluationsansatz des CEval zur Anwendung.
The evaluated project "PROFIN - Programme to Support the Integration of International Students" funded by the German Federal Ministry of Education and Research was realised by the DAAD - German Academic Exchange Service from 2009 to 2012. The DAAD implemented PROFIN in order to improve General, academic and social integration of international students in their host universities and in Society through different Projects at universities. PROFIN also aimed at reaching a paradigm shift in Relations between international students and German universities: moving from supervision to integration.
This Evaluation analysed if the defined programme Goals were achieved and whiche Projects and measures were particularly successful and effective.
CEval applied a mixed method approach to collect relevant data: an Analysis of programme documents was combined with data based on qualitative guideline-based interviews and standarised online surveys.
Having completed a successful 3-year cooperation focusing on the further development of the postgraduate study programme “Project and Programme Evaluation for Social Development” established at Universidad de Costa Rica (UCR) in 1995, the Center for Evaluation (CEval) and the Universidad de Costa Rica (UCR) identified and realised new areas of cooperation. Since 2008, the German Academic Exchange Service (DAAD) has supported this cooperation with its funding project for sending German academics to universities in developing countries. Since 2012, the DAAD has also provided funding through the programme “Subject-Specific Partnerships with Universities in Developing Countries” (2012-2015), financially ensuring the plans to enhance the partnership between the two universities in Germany and Costa Rica.
The goal of the DAAD programme was to improve the teaching situation and to set up sustainable teaching structures in developing countries by facilitating academic exchange. Therefore, the international exchange between students, PhD candidates and lecturers was one of the most important aspects in the context of this enhanced cooperation. The focus also laid on opening up the master programme to other Central-American areas (regionalisation), embedding the partnership into an existing, international network (internationalisation), and adapting teaching of the master programme at UCR to regional demands and ensuing educational needs (creating a distinct programme profile). The four year partnership helped establishing or expanding regional and international professional networks and developing additional capacities regarding teaching and research.
It is planned to continue with the partnership in 2017 and integrate another Latinamerican university into the cooperation.
Hochschulen sind aus mehreren Gründen wichtige ökonomische Faktoren für die Region, in welcher sie angesiedelt sind, und stellen dort einen wesentlichen Standortfaktor dar. Dies gilt zum einen unmittelbar durch das wirtschaftliche Potential der beschäftigten Mitarbeiter und Studierenden, die in Form privaten Konsums Nachfrageeffekte vorrangig in der Region erzeugen und zum anderen durch Infrastrukturinvestitionen (z.B. Baumaßnahmen) der Hochschulen sowie die bevorzugte Ansiedlung von Unternehmen aus know-how-intensiven Branchen.
Neben diesen unmittelbaren, direkten und indirekten sozioökonomischen Effekten erbringen jedoch Hochschulen mittel- und langfristig einen Nutzen, der für die regionale Wirtschafts und Kulturentwicklung insbesondere unter den Bedingungen des demographischen Wandels von zentraler Bedeutung ist. Hochschulen ziehen als attraktive Bildungsstätten junge, begabte Personen aus anderen Regionen an, die zum Teil nach ihrem Studium langfristig dem lokalen saarländischen Arbeitsmarkt als hochqualifizierte Fachkräfte zur Verfügung stehen („Pull-Effekte“).
Den „Pull-Effekten“ stehen jedoch auch „Push-Effekte“ entgegen, welche aus Sicht der Region die Rendite der geleisteten Ausbildungsinvestitionen verringern, ja mittelfristig sogar abhängig vom Ausmaß zu einer negativen Bilanz führen können. Wenn in einer Region keine adäquaten Beschäftigungsmöglichkeiten für die Ausbildungsleistungen der Hochschule vorhanden sind oder das Lohnniveau deutlich unterdurchschnittlich liegt, kann es trotz hoher Exzellenz von Forschung und Lehre zu Abwanderungstendenzen hochqualifizierter Absolventen kommen.
Neben Experteninterviews, die mit Studierenden, Vertretern aus der Politik und Personalverantwortlichen aus Unternehmen geführt wurden, war das Ziel der quantitativen Studierendenbefragung eine umfassende Erfassung der Faktoren, die zur ökonomischen Bewertung der Studierenden notwendig war.
Die Doctoral School in Educational Sciences (DES) bietet qualifiziertem wissenschaftlichem Nachwuchs die Möglichkeit, innerhalb von maximal vier Jahren ein Studium mit einem PhD in Psychologie, Geschichts-, Sozial-, Erziehungs- oder Sprachwissenschaften abzuschließen. Um von den Studierenden Rückmeldungen über diverse Aspekte des Studiums (allgemeine Zufriedenheit, Nutzen und Qualität der Lehrveranstaltungen etc.) zu erhalten, wurden seitens des Centrums für Evaluation zwei Instrumente im Auftrag des Doktorandenkollegs entwickelt.
Dabei handelte es sich zum einen um einen lehrangebotsbezogenen Seminarbeurteilungsbogen, der in den Kursen des Kollegs eingesetzt wurde und Erkenntnisse über die Qualität der Veranstaltungen generieren sollte. Zum anderen wurde ein DES-übergreifendes Evaluationsinstrument entwickelt. Dabei handelte es sich um einen Online-Fragebogen, mit dessen Hilfe allgemeine Aspekte des Doktorandenkollegs eruiert wurden, etwa bezüglich der Erwartungen der Studierenden an das Graduiertenkolleg und ihre Erfahrungen mit dem Kolleg.
Während das CEval bei dem Seminarbeurteilungsbogen lediglich für die Instrumentenentwicklung zuständig war, zeichnete das CEval sich im Rahmen der DES-übergreifenden Befragung für den gesamten Befragungsprozess (von der Instrumentenentwicklung über die Durchführung bis hin zur Auswertung der Befragung) verantwortlich.
Als Basis für eine fortlaufende Qualitätssicherung und -entwicklung der Angebote des „MentorinnenNetzwerks für Frauen in Naturwissenschaft und Technik“ erhielt das CEval den Auftrag, in Zusammenarbeit mit dem Hessischen Koordinierungsbüro ein Monitoring- und Evaluationssystem (M+E-System) für die Aktivitäten und Angebote des Netzwerks zu entwickeln und zu implementieren. Hierzu wurden im Jahr 2011 zwei Instrumente entwickelt, mittels derer die Teilnehmerinnen der jährlichen Mentoring-Programme (Mentorinnen und Mentees) künftig regelmäßig, in standardisierter Form zu relevanten Aspekten befragt werden. Die Auswertung und Analyse der erhobenen Daten dient sowohl der kontinuierlichen Prüfung und ggf. Optimierung der verschiedenen Aktivitäten als auch der jährlichen Rechenschaftslegung gegenüber den Mittelgebern.
Während diese M+E-Aktivitäten ab dem Jahr 2012 von den Mitarbeiterinnen des Hessischen Koordinierungsbüros in Eigenregie durch- bzw. fortgeführt werden, wurde in 2011 (noch) das CEval mit der in einen Evaluationsbericht mündenden Auswertung der zum Mentoring-Programm 2010 erhobenen Daten beauftragt.
Dieses Forschungsprojekt widmete sich der grenzüberschreitenden Zusammenarbeit von Gewerkschaften auf regionaler Ebene, indem es die historische Entwicklung sowie die Funktionsweisen und Problemlösungspotenziale des IGR Saar-Lor-Lux-Trier/Westpfalz vertiefend untersuchte und mit drei weiteren Interregionalen Gewerkschaftsräten verglich. Auf einem institutionalistischen Ansatz aufbauend, wurde in dem Forschungsprojekt ein theoretischer Rahmen entwickelt, der drei Faktorenbündel identifiziert, um vor dem Hintergrund der Entstehung, Entwicklung und Funktionsweise das Problemlösungspotenzial Interregionaler Gewerkschaftsräte zu erfassen: Die strukturelle Einbettung eines IGRs in unterschiedliche nationale Arbeitsmärkte und Wohlfahrtsregime, die Arbeitsbeziehungen und Gewerkschaftsstrukturen in den einzelnen Regionen sowie die interkulturelle Kommunikation und unterschiedliche Gewerkschaftskulturen zwischen den Gewerkschaften, die zusammen einen IGR bilden.
Für die Deutsche Welle evaluierte das Centrum für Evaluation das von der Deutsche Welle-AKADEMIE in Ruanda durchgeführte Training „Reporting for Democracy“. Das von Deutsche Welle-AKADEMIE und der School of Journalism and Communication an der National University of Rwanda gemeinsam organisierte Training umfasste im Zeitraum von Juni 2010 bis April 2011 zehn verschiedene Module zum Thema „Wahlberichterstattung“. Journalisten aus allen Bereichen (Print, Online, Radio, TV) waren Zielgruppe der Veranstaltungen.
Im Rahmen der Datenauswertung und Evaluation wurden die quantitativen und qualitativen Daten der Seminarbeurteilungen der Module ausgewertet. Weiterhin wurden telefonische Kurzinterviews mit sechs bis acht Trainern geführt. Mit Unterstützung der Deutschen Welle-AKADEMIE wurden schließlich alle Teilnehmer in einer Abschlusssitzung einige Monate nach dem letzten Trainingsmodul mittels eines standardisierten Fragebogens um eine Bewertung des langfristigen Nutzens des Trainings gebeten. Ziel der Evaluation war über die deskriptive, summative Auswertung der Rückmeldungen hinaus die Ableitung von Empfehlungen zur Durchführung derartiger Trainings.
Ein zentrales Anliegen der Dillinger Hütte ist es, ihre Mitarbeiter und Mitarbeiterinnen dazu zu befähigen, mit dem fortwährenden technischen und wirtschaftlichen Wandel in der Gesellschaft Schritt zu halten. Gemäß dem Grundsatz „Weiterbildung ist ein unverzichtbares Element für die eigene und die Zukunft des Unternehmens“ bietet die Dillinger Hütte für ihre Mitarbeiterinnen und Mitarbeiter ein umfassendes Weiterbildungsprogramm an. Dieses zielt darauf ab sowohl fachliche als auch soziale Kompetenzen zu stärken.
Die Dillinger Hütte ist bestrebt qualitative hochwertige Weiterbildungen anzubieten und sich in diesem Zusammenhang kontinuierliche weiterzuentwickeln. Aufgrund dessen führte das Centrum für Evaluation ein umfassendes Evaluationsprojekt durch. Dieses besteht aus zwei Teilprojekten:
1. Einer Wirkungsevaluation der internen Weiterbildungsmaßnahmen
2. Die Entwicklung und Implementierung eines M+E-Systems
Ziel des ersten Teilprojekts war es, strategisch relevante, interne Weiterbildungen bezüglich ihrer Wirkung und Nachhaltigkeit zu beurteilen, um dadurch den Lernprozess und die kontinuierliche Verbesserung des Programms voranzutreiben.
Methodisch umfasste diese Evaluation eine Dokumenten-und Sekundäranalyse sowie explorative Interviews zur Entwicklung von Wirkungsindikatoren. Anhand leitfadengestützter Interviews mit Vorgesetzten der Teilnehmenden sowie einer Online-Erhebung wurden Wirkung und Nachhaltigkeit der Weiterbildungen erfasst.
Ein zentrales Anliegen der Dillinger Hütte ist es, ihre Mitarbeiter und Mitarbeiterinnen dazu zu befähigen, mit dem fortwährenden technischen und wirtschaftlichen Wandel in der Gesellschaft Schritt zu halten. Gemäß dem Grundsatz „Weiterbildung ist ein unverzichtbares Element für die eigene und die Zukunft des Unternehmens“ bietet die Dillinger Hütte für ihre Mitarbeiterinnen und Mitarbeiter ein umfassendes Weiterbildungsprogramm an. Dieses zielt darauf ab sowohl fachliche als auch soziale Kompetenzen zu stärken.
Die Dillinger Hütte ist bestrebt qualitative hochwertige Weiterbildungen anzubieten und sich in diesem Zusammenhang kontinuierliche weiterzuentwickeln. Aufgrund dessen führte das Centrum für Evaluation ein umfassendes Evaluationsprojekt durch. Dieses besteht aus zwei Teilprojekten:
1. Einer Wirkungsevaluation der internen Weiterbildungsmaßnahmen
2. Die Entwicklung und Implementierung eines M+E-Systems
Ziel des zweiten Teilprojekts war es, ein kontinuierliches Monitoring- und Evaluationssystem (M+E) für interne und externe Weiterbildungen zu entwickeln und zu implementieren, welches die Dillinger Hütte dazu in die Lage versetzt, selbst regelmäßige M+E-Aktivitäten durchzuführen, die erhobenen Daten zu analysieren und zu verwerten.
In diesem Zusammenhang wurden gemeinsam mit der Dillinger Hütte geeignete Erhebungsinstrumente entwickelt und ein Instrument zur technischen Umsetzung von Befragungen eingeführt. Darüber hinaus wurden Schulungen sowohl zur Handhabung des Instruments als auch zur Datenauswertung und -interpretation durchgeführt.
The overarching objective of the Plan Honduras project was that girls and boys are protected from sexual violence and had access to child friendly and competent prevention and attention mechanisms from local to national level. In order to achieve this objective, Plan Honduras developed an action programme that was to strengthen prevention, protection and attention capabilities for at-risk girls and boys and survivors of sexual violence in the family, community, municipality, departments and at the national level.
The task of the Center for Evaluation (CEval) in this framework was to assist and consult the process of developing and implementing an impact oriented gender sensitive M&E-system that could be used throughout the project cycle and beyond. Therefore the CEval adviced and trained project executives and partners in order to enable them to systematically monitor and evaluate project related activities, to identify the most relevant aspects on all impact levels, to formulate impact oriented qualitative indicators for the project contributing to gender equality, to design a data collection plan and instruments and to solve occurring challenges during the data collection and analysis process.
The knowledge transfer was facilitated through a combination of continuous consultancy, training measures and practical implementation of the consultancy and training content within an accompanied baseline study including a gender analysis as well as an accompanied interim and a final project evaluation.
The project "Strengthening of evaluation capacity in Central America (FOCEVAL)" of the Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH aims to strengthen the role of evaluation in the policy-making process and the control of policies in Costa Rica and selected countries in Central America. The measure is designed as a regional project, whose political sponsorship lies with the Costa Rican Ministry of National Planning and Economic Policy (MIDEPLAN).
Within the framework of the ECD-project, the task of the CEval GmbH is the implementation of a number of training courses on monitoring and evaluation (M&E) at different aspiration levels for the partner structures. The contents of the already tested and repeatedly conducted training courses reflect the different needs among the target groups. In addition, the CEval GmbH offers the regional project a continuous scientific support, which ensures a permanent connection to the current international discussion on evaluation, and maintains the link to scientific organizations and networks. It furthermore comprises a range of advisory services, particularly in the strategy and concept development, which is based on the latest scientific findings of monitoring and evaluation research.
Das in 2011 in der dritten Phase laufende Programm „Talente sichern – Zukunft gestalten“ des Cusanuswerks – Bischöfliche Studienförderung setzte auf eine gezielte Förderung des weiblichen Führungsnachwuchses. Hierzu setzte das Programm auf Mentoringelemente – also eine tutorielle Betreuung von Stipendiatinnen deutscher Begabtenförderungswerke durch berufserfahrene Akademiker(innen) – auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks. Neben überdurchschnittlichen Studienleistungen zeichneten sich die Stipendiatinnen dadurch aus, dass der Abschluss ihres Studiums bzw. ihrer Promotion in maximal einem Jahr anvisiert war oder dass sie Berufsanfängerinnen waren.
Zur Qualitätssicherung des Förderprogramms führte das CEval eine prozessbegleitende, externe Evaluation durch. Zentrale Aufgabe dieser Evaluation war es, den durchführungsverantwortlichen Mitarbeiter(inne)n des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen.
Methodisch umfasste die Evaluation standardisierte Online-Befragungen der Mentees und Mentorinnen zu drei Zeitpunkten. Im Zentrum des Interesses standen die Zufriedenheit mit dem Karriereförderprogramm, die Qualität der Beziehung zwischen den Nachwuchskräften und ihren Tutor(inn)en, die Vernetzungsaktivitäten der Mentees sowie der persönliche und berufliche Nutzen für alle Beteiligten. Die Datenerhebungen fanden begleitend zur 15-monatigen Dauer des Karriereförderprogramms statt. Damit erhielt die programmdurchführende Stelle regelmäßig Informationen über den Ablauf des Programms und die Qualität der Realisierung. Dieses Vorgehen ermöglichte eine frühzeitige Identifikation eventueller Probleme und eine zeitnahe Entwicklung geeigneter Maßnahmen, um diesen entgegenzuwirken.
Fairtrade zielt darauf ab, den Fairen Handel zu stärken und möchte es Kleinbauern und Plantagenangestellten in Afrika, Lateinamerika und Asien ermöglichen, von der angestammten Produktion zu leben. Daher legen Fairtrade-Standards als Strategie zur Armutsbekämpfung u.a. ein stabiles Einkommen fest, sowie Grundsätze für Umweltschutz und Gleichstellung. Eine Fairtrade-Prämie, die für die Produkte der Kleinbauern und der zertifizierten Plantagen bezahlt wird, ermöglicht Investitionen in Entwicklungsprojekte. Die Ziele von Fairtrade sind u.a.:
Langfristige und möglichst direkte Handelsbeziehungen von Kleinbauern aus benachteiligten Regionen des Südens in den Markt des Nordens.
Mindestens gesetzlicher Mindestlohn, Schutzkleidung, bezahlter Urlaub und soziale Vorsorge für Angestellte auf Plantagen.
Ziel dieser Studie war es, die Wirkungen von Fairtrade auf die ländliche Entwicklung in ausgewählten Gebieten/Regionen auf Basis der neuesten Kenntnisse zur Wirkungsmessung zu identifizieren und zu bewerten. Dabei wurde folgende bisher nicht hinreichend untersuchte Hypothese überprüft: „Die Präsenz von repräsentativen Fairtrade-zertifizierten Kooperativen oder Plantagen innerhalb eines gegebenen Gebietes hat über die Fairtrade-Produzentenorganisationen (PO) hinaus eine positive Wirkung auf die ländliche Entwicklung und trägt somit zur Verbesserung der sozialen, wirtschaftlichen und ökologischen Bedingungen im ländlichen Raum bei“. Aufgabe der Wirkungsstudie war es folglich, objektive und belastbare Daten für die Diskussion der Frage, ob Fairtrade ein effektives Instrument der Armutsminderung im ländlichen Raum darstellt, zu liefern.
Methodisch basierte die Wirkungsstudie auf einer hypothesengeleiteten quasi-experimentellen Versuchsanordnung und einem Multi-Methodenansatz. In sechs Produktsektoren wurde jeweils eine Fallstudie durchgeführt: Blumen (Kenia), Kakao (Ghana), Kaffee (Peru), Bananen (Peru), Baumwolle (Indien) und Tee (Indien). Hierfür kamen folgende Datenerhebungsmethoden zum Einsatz: Sekundär- und Dokumentenanalysen, leitfadengestützte Intensivinterviews, Gruppendiskussionen, partizipative Methoden, teilnehmende Beobachtungstechniken sowie mehrere (teil-)standardisierte Zielgruppen-Befragungen. Des Weiteren wurden Inhaltsanalysen sowie deskriptive und inferenzstatistische Analyseverfahren als Datenauswertungsmethoden angewandt.
------------------------------------------------
Zum Download stehen bereit (externe Links): Die Zusammenfassung der Studie (pdf, 4 Seiten, deutsch)
Im Auftrag der IBA – Hamburg GmbH führte das CEval eine formative Evaluation der Konzeptentwicklung zur „Bildungsoffensive Elbinseln“ (BOE) durch. Hauptziele des Teilprojektes der Internationalen Bauausstellung in Hamburg waren die Förderung der gesellschaftlichen Integration der Bewohner der Elbinseln sowie eine Stärkung des Wohnstandortes Elbinseln durch attraktive Bildungseinrichtungen.
Ziel der formativen Evaluation war die Beratung und Qualifizierung der eingesetzten Netzwerkmanager in den fünf zentralen IBA Bildungsprojekten. Konzepterarbeitung (insbesondere zur Sicherung der Nachhaltigkeit und zur Entwicklung einer gemeinsamen Kommunikationsstrategie), Monitoring der Entwicklung (inklusive der Etablierung eines selbständig von den IBA-Projekten fortführbaren Monitoringsystems) und Netzwerkarbeit in Form der Beteiligung an gemeinsamen Workshops sind die zentralen Aufgaben. Hierfür wurde ein Rahmenvertrag im Umfang von 45 Arbeitstagen geschlossen, der bis zum Abschluss der Internationalen Bauausstellung 2013 abgegolten werden sollte. Die ersten Workshops wurden im Mai und im August 2011 durchgeführt.
Das „MentorinnenNetzwerk für Frauen in Naturwissenschaft und Technik“ ist ein seit 1998 bestehender, hochschulübergreifender Verbund aller hessischen Universitäten und Fachhochschulen und stellt mit rund 1.500 Mitgliedern das größte Mentoring-Projekt in der europäischen Hochschullandschaft dar. Das Netzwerk richtet sich an Frauen in Natur- und Ingenieurwissenschaften, die sich in der Qualifizierungsphase Studium oder Promotion befinden und zielt darauf ab, die Absolventinnenzahlen in naturwissenschaftlich-technischen Studiengängen und bei Promotionen zu erhöhen sowie die Karrierechancen von Frauen in naturwissenschaftlich-technischen Berufen zu verbessern und damit den Frauenanteil in attraktiven Positionen in Wissenschaft und Wirtschaft zu erhöhen.
Nachdem das Centrum für Evaluation (CEval) 2008 bereits eine Absolventenverbleibsstudie sowie eine Kontextanalyse für das MentorinnenNetzwerk durchgeführt hatte, wurde es 2011 mit der Entwicklung und Implementierung eines Monitoring- und Evaluationssystems (M&E-System) für das Mentoring-Programm des MentorinnenNetzwerks beauftragt. Dieses sollte die Mitarbeiterinnen des Hessischen Koordinierungsbüros des MentorinnenNetzwerks dazu befähigen, künftig selbst regelmäßige M&E-Aktivitäten durchzuführen, die dabei erhobenen Daten zu analysieren und zu verwerten. Die Mitarbeiterinnen wurden vonseiten des CEval entsprechend geschult und bei den ersten Erhebungen begleitet.
Das College of Europe mit den beiden Standorten Brügge (Belgien) sowie Natolin (bei Warschau in Polen) ist ein 1949 gegründetes, unabhängiges, postgraduales Hochschulinstitut für europäische Studien. Oftmals auch als „Kaderschmiede für europäische Politik“ bezeichnet, studieren hier jährlich rund 400 Absolventinnen und Absolventen von Hochschulen und Universitäten aus mehr als 50 Ländern, mit dem Ziel eines Master-Abschlusses. Seit 1949 führt das Netzwerk Europäische Bewegung Deutschland (EBD) die Auswahl und Betreuung von jährlich bis zu 40 deutschen Stipendiaten am College of Europe durch. Rund 90 Prozent erhalten ein Stipendium des Bundesministeriums für Bildung und Forschung (BMBF).
Für das EBD evaluierte das Centrum für Evaluation den Einfluss des Colleges of Europe auf den Werdegang der deutschen Alumni. Ziel der Evaluation war das Herausarbeiten von Argumenten für oder gegen eine Fortsetzung des Stipendienprogramms sowie von Anknüpfungspunkten für eine schärfere Positionierung des Colleges und des Stipendienprogramms. Zur Bearbeitung dieser Aufgabenstellung erfolgten umfangreiche Dokumenten- und Sekundäranalysen und es wurden leitfadengestützte Intensivinterviews mit zentralen Verantwortlichen geführt. Schließlich dienten Online-Befragungen dazu, den Einfluss des Colleges auf die Karrieren der Alumni zu evaluieren.
Seit 2008 führt die Dillinger Hütte systematisch Mitarbeitergespräche (MAG) als Instrument der Mitarbeiterführung durch. Ziel der MAG ist es, zu einer stärkeren Fokussierung auf die Unternehmensziele, zur Erweiterung der Unternehmenskultur, zur Förderung der Mitarbeiter und Optimierung der unternehmensinternen Zusammenarbeit beizutragen.
Die Dillinger MAG wurden bereits im Jahr 2010 durch das CEval evaluiert. Aufgrund der daraus resultierenden Ergebnisse wurden Anpassungen am MAG vorgenommen. Aufgabe der Evaluation der MAG 2011 war es zum einen, die Nützlichkeit und Effektivität dieser Anpassungen des MAG und seiner Instrumente zu bewerten. Zum anderen sollte eruiert werden, ob die Transparenz über die Zielsetzungen des MAG verbessert werden konnte und ob das MAG in den Dillinger Hüttenwerken insgesamt als akzeptiertes und verankertes Instrument angesehen werden kann. Aus den Erkenntnissen der Evaluation sind letztlich geeignete Optimierungsmaßnahmen zu identifizieren.
Hierzu wurde vom CEval in Abstimmung mit der Dillinger Hütte eine standardisierte Online-Befragung der Mitarbeiter des Unternehmens über verschiedene Hierarchieebenen hinweg konzipiert und durchgeführt. Ergänzend wurden 15 leitfadengestützte Interviews mit verschiedenen Mitarbeitern des Unternehmens geführt. Im Rahmen der Datenanalysen wurden die in 2010 und 2011 erhobenen Daten zusammengeführt und im Längsschnitt ausgewertet.
Ziel des Vorhabens ist die Stärkung der Kompetenzen der Programmpartner des United Nation’s International Fund for Agricultural Development (IFAD) in Ländern der North Africa Division im Bereich Monitoring und Evaluation (M&E). In einer ersten Phase werden hierzu im Rahmen zweier Pilotstudien in Süd-Sudan und Albanien die dort eingesetzten Monitoring- und Evaluationsverfahren auf ihre Angemessenheit und Vollständigkeit hin untersucht und zu umfassenden M&E-Systemen weiterentwickelt. Die dabei gewonnenen Erkenntnisse hinsichtlich Ergebnisqualität und Handhabbarkeit werden anschließend systematisch aufbereitet und in einem zweiten Schritt auf ihre Übertragbarkeit auf andere Länder hin untersucht. Damit sollen weitere Projektträger und nationale Institutionen in die Lage versetzt werden, eigenständig Daten zu erheben, zu analysieren und zu bewerten, die ihnen Aufschluss über die Wirkungen und Nachhaltigkeit ihrer Projekte geben.
Schließlich werden daraus praktische Handlungsleitfäden für die Erfassung von Wirkungen von Programmen in den Bereichen ländliche Entwicklung und Armutsminderung entwickelt und im Rahmen von überregionalen Informationsveranstaltungen sowie im Internet weiter verbreitet. Bei dem Vorhaben kooperiert das CEval mit der Arbeitsgemeinschaft Entwicklungspolitischer Gutachter (AGEG), die ihrerseits hierfür Sektorexperten einsetzt.
Für die Deutsche Welle evaluierte das Centrum für Evaluation die Aktivitäten der Deutsche Welle-AKADEMIE in Albanien. Dabei wurden zwölf Kurse für albanische Radiosender zu den übergreifenden Themen Journalismus und Management durchgeführt. Im Rahmen der Datenauswertung und Evaluation wurden die quantitativen und qualitativen Daten der Seminarbeurteilungen der Kurse nach Journalismus- und Management-Kursen getrennt ausgewertet. Weiterhin wurden telefonische Kurzinterviews mit sechs bis sieben Trainern geführt und eine teilstandardisierte Online-Befragung der Ansprechpartner der albanischen Partnersender realisiert. Ziel der Evaluation war über die deskriptive, summative Auswertung der Rückmeldungen hinaus die Ableitung von Empfehlungen zur Durchführung derartiger Trainings.
The subject of the evaluation was the project AnschlussDirekt, initiated in 2010 by the Ministry of Economics and Science of Saarland and implemented over a period of three years. Within the scope of the project, pupils with a positive prognosis of a secondary school leaving certificate were intensively supported in the phase of vocational orientation and during the search for a training place. The support of the young people was primarily provided by the staff of the project coordination office, but also - and this is the special feature of the model project - by volunteer sponsors (economic experts and human resources managers of Saarland companies). The aim was to increase the proportion of pupils who start in-company vocational training immediately after completing secondary school.
The task of the accompanying evaluation was initially to support the development of a monitoring system in which data relevant to project management can be recorded and retrieved as required. In addition, the sponsors were asked about their impressions and evaluations of the project and their consultations within the framework of a telephone survey.
Furthermore, the task of the evaluation was to record project effects at the level of the target group. To this end, standardized surveys were conducted with the young people involved in the project at various points in time. The results of these surveys were systematically compared with specially collected baseline data from pupils not participating in the project.
Regular recommendations for project optimization were derived from the evaluation findings and made available to project coordination.
Der Arbeitsmarkt der Großregion SaarLorLux (Saarland, Lothringen, Luxemburg, Rheinland-Pfalz und Wallonie) ist durch umfangreiche grenzüberschreitende Pendlerströme geprägt. Nahezu 200.000 Berufspendler überqueren im Vierländereck täglich eine nationale Grenze auf dem Weg zu ihrer Arbeitsstelle (IBA 2009).
Die Öffnung der Märkte bedeutet für Grenzregionen wie den SaarLorLux-Raum neue Möglichkeiten, aber auch neue Schwierigkeiten hinsichtlich der aktiven Gestaltung dieses Marktes und seiner Rahmenbedingungen. Nationale Unterschiede der Arbeitsgesetzgebung, Lohngestaltung, Beschäftigungssicherung, Arbeitsplatzgestaltung etc. stellen sich zunehmend als komparative Standortvor- bzw. –nachteile dar, die grenzüberschreitende Pendelbewegungen der Arbeitskräfte bewirken und gleichzeitig auch Effekte auf die Verhandlungen der Arbeitgeber- und Arbeitnehmervertretungen sowie die Politik der betroffenen Regionen haben. Dabei werden die Handlungsmöglichkeiten der lokalen Akteure durch die nationalen Regelungen und Politiken begrenzt und eventuell sogar in Bezug auf eine rationale, koordinierte Gestaltung der Arbeitsbeziehungen innerhalb der Großregion behindert. Gleichzeitig erhöht sich auch der Druck auf die Akteure, die nun einen Interessenausgleich nicht nur innerhalb einer Nation sondern auch zwischen den Nationen zu suchen und zu einer gemeinsamen Arbeits- und Beschäftigungspolitik zu finden haben.
Ziel des Forschungsprojektes war es, transnationale Institutionen des Arbeitsmarkts der Großregion zu erfassen und hinsichtlich ihrer Funktionalität als politische Steuerungsgremien und zur Herausbildung einer grenzüberschreitenden Integration zu bewerten.
In einer ersten explorativen Projektphase wurden hierzu neben umfangreichen Sekundäranalysen Interviews mit ausgewählten Experten zur Situation des Arbeitsmarktes geführt. Auf Grundlage der dabei gewonnen Informationen wurde in der zweiten Phase unter Berücksichtigung einer netzwerktheoretischen Perspektive eine standardisierte Online-Befragung von Vertretern aller relevanten interregional tätigen Gremien des Arbeitsmarktes der Großregion durchgeführt.
Interregionale Arbeitsmarktbeobachtungsstelle (2009). Die Arbeitsmarktsituation in der Großregion. 6. Bericht der Interregionalen Arbeitsmarktbeobachtungsstelle an den 11. Gipfel der Exekutive der Großregion. Saarbrücken.
Gegenstand der Schlussevaluation waren die beiden von WUS umgesetzten Projekte “Building Quality, Knowledge and Skills for Social and Economic Development – Support to Reforms of Higher Education in Kosovo 2008-2011” und “Serbia 2007-2010: Improving Quality, Knowledge & Skills for Economic Development – Support to Reforms of Higher Education in Serbia”. Ziel dieser Projekte war die Unterstützung der Reformierung der jeweiligen Hochschulsektoren in den beiden Ländern im Hinblick auf eine bessere, bedarfsorientiertere Ausbildung. Damit sollte die Beschäftigungsfähigkeit und entsprechend die Beschäftigtenquote bei den Hochschulabsolventen gesteigert werden.
Weitere Informationen zu den Projekten erhalten Sie unter: http://www.wus-austria.org/allprojects/38/15.html
Aufgabe der vom CEval durchgeführten Evaluation war es, gemäß der DAC-Kriterien, die Relevanz, Umsetzungseffizienz, Effektivität, Wirksamkeit sowie die Nachhaltigkeit der Projektmaßnahmen in beiden Ländern zu untersuchen und im Hinblick auf die Zielerreichung bewerten. Die Untersuchung war als Desk-Study angelegt, bei der neben Programmdokumenten weitere Hintergrundrecherchen zum bisherigen Entwicklungsverlauf der Sektoren vorgenommen wurden.
The final evaluation focused on the Child Legal Support & Protection Network Initiative in China, implemented by Plan International Deutschland e.V., which aims to provide comprehensive care for children who have been abused or who have themselves come into conflict with the law.
The final evaluation focused on identifying and evaluating the effects achieved so far and their sustainability, as well as the role and cooperation of the actors involved. In addition, recommendations for the planned second phase from 2011 should be developed on the basis of the results of the study. In accordance with CEval's multi-method approach, in addition to guideline-supported intensive interviews with program managers and representatives of partner organizations, standardized surveys of other program participants (e.g. volunteer supporters) and a document analysis were used for data collection.
Gegenstand der Evaluation war das Modul ‚Famulaturen und PJ-Abschnitte‘ des DAAD-Ärzteprogramms/ PAGEL. Im Rahmen dieses Moduls wurden Medizinstudierenden deutscher Hochschulen aus Entwicklungsländern ein- bis zweimonatige Famulaturen bzw. viermonatige PJ-Tertiale in ihren Heimatländern oder anderen Entwicklungsländern ermöglicht. Durch diesen Aufenthalt hatten die Studierenden die Möglichkeit, sich mit der beruflichen Realität und den benötigten medizinischen Kompetenzen im Heimatland vertraut zu machen. Dies sollte letztendlich nach Abschluss des Studiums deren Rückkehr fördern, deren Reintegration erleichtern und somit dem ‚brain drain‘ entgegenwirken.
Im Rahmen der Evaluationsstudie wurde die Zielerreichung und Wirkung des Moduls ‚Famulaturen und PJ-Abschnitte‘ untersucht. Ziel der Evaluation war es, Optimierungspotentiale für die laufende Programmentwicklung herauszuarbeiten. Dabei wurde besonderes Augenmerk auf die am Ärzteprogramm beteiligten Universitäten und deren Interesse an diesem Modul gelegt.
Aus den Erkenntnissen der Evaluation wurden konkrete Schlussfolgerungen und Empfehlungen für die Programmausschreibung des Ärzteprogramms/ PAGEL im Frühjahr 2011 abgeleitet.
Ziel des BMBF-geförderten DAAD-Programms „Bi-nationales Promotionsnetzwerk“ (PhD-Net) ist es, Kooperationen zwischen deutschen und ausländischen Hochschulen auf dem Gebiet der Doktorandenausbildung zu initiieren und zu fördern, um ausländischen Doktoranden grenzüberschreitende, binationale Promotionen zu ermöglichen und hochqualifizierte ausländische Nachwuchswissenschaftler für eine wissenschaftliche Karriere in Deutschland und/oder für den Aufbau wissenschaftlicher Kooperationsbeziehungen mit Deutschland zu gewinnen. Förderungsfähig sind dabei sowohl Anbahnungsreisen und Summer Schools als auch Promotionsprogramme.
Im Rahmen der Evaluationsstudie wird die Zielerreichung und Wirksamkeit des PhD-Net-Programms untersucht. Aufgabe ist es, sowohl die Erreichung der unmittelbaren
Ziele, die sich direkt aus den drei Förderlinien ableiten lassen, zu ermitteln als auch eine Aussage über die Verwirklichung der mittel- und langfristigen Ziele auf institutioneller sowie individueller Ebene zu treffen. Ergänzend dazu soll die Effizienz des Programms bewertet werden. Hierbei ist zum einen zu analysieren, ob und inwieweit die Fördermaßnahmen sinnvoll aufgebaut sind, welche konkreten Maßnahmen innerhalb der Projekte durchgeführt wurden und welche Maßnahmen sich als besonders bzw. weniger effizient und wirksam im Hinblick auf die Zielerreichung erwiesen haben. Zum anderen sollen die Programmadministration sowie die Programmdurchführung durch den DAAD und verwendete Monitoringinstrumente untersucht und bewertet werden.
Aus den dabei gewonnenen Erkenntnissen sind konkrete Schlussfolgerungen und Empfehlungen zur Weiterentwicklung des Förderprogramms „International promovieren in Deutschland“ (IPID) zu erarbeiten, welches eine derzeit geplante Laufzeit von 2010 bis 2013 hat.
Gegenstand der Zwischenevaluierung waren die seit 2008 von InWEnt durchgeführten Maßnahmen im Rahmen des Programms „Dialogforen mit Ankerländern“, welche eine Intensivierung des internationalen Erfahrungsaustauschs zu den aktuellen globalen Herausforderungen im Finanzsektor und im Bereich der Klimaentwicklung zum Ziel haben. Auf der Programmzielebene geht es darum, politische Gestaltungsspielräume für kooperative Politikansätze zur Wahrung der beiden globalen öffentlichen Güter „Begrenzung des Klimawandels und Stärkung der internationalen Finanzmarktstabilität“ zu vergrößern. Im Rahmen von Dialogforen sollen die Teilnehmer dazu befähigt werden, ihre Regierungen in der Wahrnehmung ihrer internationalen Verantwortung zur Sicherung dieser Güter durch eine konstruktive Mitgestaltung in formellen Global Governance Strukturen zu unterstützen.
Ziel dieser Untersuchung war es, auf der Basis der Analyse- und Bewertungsergebnisse eine Entscheidungsgrundlage für die von InWEnt beantragte Programmfortsetzung in den Jahren 2011/2012 zu erhalten. Entsprechend den DAC-Kriterien wurden die Effektivität, die Effizienz und die Nachhaltigkeit des Programms bewertet sowie Empfehlungen zur Kohärenz, Koordination und Komplementarität mit den Maßnahmen anderer deutscher Geber formuliert. Des Weiteren galt es die bislang erzielten Ergebnisse im Hinblick auf ihre Relevanz sowie ihre mittel- und langfristige Wirkung hin zu untersuchen.
Methodisch basierte die Evaluation auf Sekundär- und Dokumentenanalysen, ca. 50 leitfadengestützten Intensivinterviews, zwei teilstandardisierten Online-Befragungen aller Dialogforen-Teilnehmer beider Komponenten sowie auf der Teilnahme an zwei Dialogforen in China.
Seit 2008 führt die Dillinger Hütte systematisch Mitarbeitergespräche (MAG) als Instrument der Mitarbeiterführung durch. Ziel der MAG ist es, zu einer stärkeren Fokussierung auf die Unternehmensziele, zur Erweiterung der Unternehmenskultur, zur Förderung der Mitarbeiter und Optimierung der unternehmensinternen Zusammenarbeit beizutragen.
Aufgabe des CEval im Rahmen der Evaluation war zum einen die Bewertung der Effektivität der MAG und zum anderen sollten verschiedene Gesprächselemente und die Verständlichkeit des Instruments insgesamt bewertet und geeignete Optimierungsmaßnahmen identifiziert werden.
Hierzu wurde vom CEval in Abstimmung mit der Dillinger Hütte eine standardisierte Online-Befragung der Mitarbeiter des Unternehmens über verschiedene Hierarchieebenen hinweg konzipiert und durchgeführt. Ergänzend wurden 20 leitfadengestützte Interviews mit verschiedenen Mitarbeitern des Unternehmens geführt.
Die Wirtschaftsinitiative Nachhaltigkeit (WIN) des Landes Steiermark wurde im Dezember 2002 vom Land Steiermark (Fachabteilung 19D), der Wirtschaftskammer Steiermark (WK-Stmk) und der Steirischen Wirtschaftsförderung (SFG) ins Leben gerufen. Diese Initiative hat zum Ziel das Leitbild der Nachhaltigen Entwicklung zu verbreiten und diese in ausgewählten Schwerpunktbereichen der steirischen Wirtschaft effektiv umzusetzen, um dadurch die erfolgreiche Entwicklung der steirischen Wirtschaft zu unterstützen. Zu diesem Zweck bietet die WIN spezielle Beratungsprogramme für Unternehmer und Organisationen zu Themen der Nachhaltigkeit und des Umweltschutzes an, die von sogenannten WIN-Beratern durchgeführt werden.
Ende 2009 kann die WIN auf drei Programmperioden zurückblicken.
Ziel der Evaluation war es einerseits, das WIN-Programm bezüglich seiner Effektivität und Effizienz zu beurteilen, um dadurch den Lernprozess und die kontinuierliche Verbesserung des Programms und seiner Umsetzung voranzutreiben. Andererseits sollten Zukunftsperspektiven der Wirtschaftsinitiative Nachhaltigkeit aufgezeigt werden.
Methodisch umfasste die Evaluation eine Sekundäranalyse vorliegender Dokumente, teilstandardisierte Telefoninterviews mit Teilnehmern und Beratern, sowie leitfadengestützte telefonische Kurzinterviews mit weiteren Stakeholdern.
Gegenstand der Evaluation war die Maßnahmen zur Unterstützung des Hochschulsektors in den Schwerpunktländern der österreichischen Entwicklungszusammenarbeit (OEZA) in Südosteuropa (SOE) sowie Lateinamerika
(LA). Während der Fokus der OEZA in SOE auf arbeitsmarktorientierter Hochschulbildung und der Integration in den Europäischen Hochschul- und Forschungsraum liegt, wurden in LA vor allem Bildungsprojekte zur Stärkung von Minoritäten gefördert.
Aufgabe der Evaluation war es, die bisher erzielten Ergebnisse auf ihre Relevanz, Effektivität, entwicklungspolitische Wirksamkeit und Nachhaltigkeit hin zu untersuchen. Des Weiteren sollten die Capacity-Building Effekte bei den Partnerorganisationen sowie deren Ownership bewertet werden. Ausgehend von einer umfassenden
Dokumentenanalyse wurden hierfür im Rahmen dreier Feldstudien in Nicaragua, Serbien und dem Kosovo empirische Daten an den jeweiligen Standorten gesammelt und in einem Synthesebericht vergleichend
ausgewertet.
Ziel war es dabei insbesondere Optionen für zukünftige Interventionen, entsprechend den strategischen Zielsetzungen der OEZA in den Bereichen Hochschulbildung und Wissenschaftskooperation, im Sinne der Entwicklung eines kohärenten programmbasierten Ansatzes aufzuzeigen.
Die Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) GmbH hat ihr bestehendes Evaluierungssystem 2005 mit der Einführung von Ex-post Evaluierungen vervollständigt und lässt seither im Auftrag des BMZ jährlich weltweit ca. 25-30 Unabhängige Evaluierungen (UE) in dessen Kooperationsländern durch unabhängige wissenschaftliche Institute und Consultingunternehmen durchführen. Der in diesem Zusammenhang mit dem CEval 2005 erstmalig geschlossene Rahmenvertrag wurde in den darauffolgenden Jahren kontinuierlich verlängert, so dass bisher bereits 30 Vorhaben der technischen Zusammenarbeit durch das CEval evaluiert wurden.
Im Zentrum der Evaluationsvorhaben steht nach der erfolgreichen Erprobung in 2008 und 2009, die Weiterentwicklung eines durch das CEval entwickelten Analysekonzepts, welches sich an den theoretischen Modellen und methodischen Verfahrensweisen des ‚Rigorous-Impact-Evaluation’-Ansatzes (RIE) orientiert. Kern dieses Ansatzes ist eine hypothesengeleitete Ursache-Wirkungsmessung, ein quasi-experimentelles Untersuchungsdesign (Vorher-Nachher-Messung, Vergleich von Ziel- und Nicht-Zielgruppe), die Kombination unterschiedlicher quantitativer und qualitativer Erhebungsverfahren (Multi-Methoden-Ansatz) sowie die Anwendung elaborierter Matching- und Datenauswertungsmethoden einschließlich multivariater statistischer Verfahren. Durch diese Vorgehensweise wird eine kausale Zuschreibung der in einem Untersuchungsgebiet eingetretenen (wirtschaftlichen, gesellschaftlichen, ökologischen etc.) Veränderungen und somit eine valide und reliable Wirkungsmessung ermöglicht.
In 2010 führt das CEval vier Evaluierungen im Schwerpunktsektor "Berufliche Bildung" und in 2011 zwei Evaluierungen in im Bereich "Gesundheit" durch. Für ein Vorhaben in der Mongolei wird von CEval-Mitarbeitern eine methodisch anspruchsvolle Wirkungsevaluierung und für ein anderes Programm in Südafrika wird erstmalig eine ex-ante Evaluierung realisiert, indem eine Bedarfsanalyse, ein Impact Assessment und eine Baseline-Studie durchgeführt werden. Des Weiteren wird im Rahmen der ex ante Evaluierung die Wirkungslogik des Programms entwickelt sowie ein Konzept für zukünftiges Wirkungsmonitoring erarbeitet.
Die weiteren vier Evaluierungen in 2010 und 2011 werden unter der Koordination von Sonja Wolf von externen Gutachtern aus dem In- und Ausland umgesetzt.
In 2010 handelte es sich um folgende TZ-Vorhaben:
Schlussevaluierung des Programms „Förderung der beruflichen Erwachsenenbildung und Beschäftigung, Bulgarien"
Schlussevaluierung des „Indisch-Deutschen Zentrums für Moderne Technologien (IGIAT), Indien"
Schlussevaluierung des Programms „Berufsbildung von Mädchen und Frauen sowie Unterstützung des Reformprozesses im Bildungssystem, Kasachstan"
Ex-ante Evaluierung des Programms „Skills Development for Climate and Environment Business – Green Jobs, Südafrika”
In 2011 handelte es sich um folgende TZ-Vorhaben:
Schlussevaluierung des Programms "Multidisziplinäres HIV/AIDS Programm, Bangladesch"
Ex-post Wirkungsevaluierung des Programms "Förderung der reproduktiven Gesundheit, Mongolei"
Gegenstand der federführend von PricewaterhouseCoopers (PwC) durchgeführten Evaluation war die 2007 überarbeitete Richtlinie des Brandenburgischen Wirtschaftsministeriums zur Förderung des wirtschaftsbezogenen Technologietransfers, die eine stärkere Branchenfokussierung und eine intensivere Integration der beteiligten Akteure und Institutionen in das Transfersystem zum Ziel hat.
Im Rahmen der Untersuchung war es Aufgabe des CEval bei den Zielgruppen des Technologietransfers (Unternehmen und Wissenschaftler) ein repräsentatives Meinungsbild hinsichtlich der Einschätzung von Effektivität und Effizienz der Umsetzung der Richtlinie zu gewinnen. Hierzu wurden vom CEval in Abstimmung mit PwC und dem Brandenburgischen Wirtschaftsministerium zwei standardisierte Online-Befragungen konzipiert und durchgeführt. Die Erhebungsdaten wurden anschließend mittels deskriptiver und inferenzieller statistischer Verfahren ausgewertet und mit den von PwC erhobenen qualitativen Interviewdaten trianguliert. Die Ergebnisse nehmen Eingang in das von PwC zu erstellende Gutachten und bilden dabei die empirische Grundlage für die darin auszuarbeitenden Empfehlungen zur zukünftigen Gestaltung der Richtlinie.
Das Goethe-Institut fördert mit seiner Initiative „Kultur und Entwicklung“ durch spezifische Beratungs- und Bildungsprogramme Institutionen und Akteure aus Kultur, Medien und Gesellschaft vor allem in Ländern der Entwicklungszusammenarbeit. Diese Programme zielen auf berufliche Qualifizierung, beraten und fördern den Aufbau von Netzwerken und schaffen kulturelle und zivil- gesellschaftliche Plattformen.
Aufgabe der Evaluation war es einerseits, den Planungs-, Implementations- und Durchführungsprozess durch das Goethe-Institut zu analysieren und zu bewerten und andererseits eine Relevanz- und Effektivitätsanalyse vorzunehmen.
Zur Datengewinnung wurden Dokumenten- und Sekundäranalysen eingesetzt und ca. 30-40 leitfadengestützte Intensivinterviews geführt.
Das in 2009 in der zweiten Phase laufende Programm „Talente sichern – Zukunft gestalten“ des Cusanuswerks - Bischöfliche Studienförderung setzt auf eine gezielte Förderung des weiblichen Führungsnachwuchses. Hierzu setzt das Programm auf Mentoringelemente, also eine tutorielle Betreuung von Stipendiatinnen deutscher Begabtenförderungswerke durch berufserfahrene AkademikerInnen, auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks. Neben überdurchschnittlichen Studienleistungen zeichnen sich die Stipendiatinnen dadurch aus, dass der Abschluss ihres Studiums bzw. ihrer Promotion in maximal einem Jahr anvisiert ist oder dass sie Berufsanfängerinnen sind.
Zur Qualitätssicherung des Förderprogramms führt das CEval eine prozessbegleitende, externe Evaluation durch. Zentrale Aufgabe dieser Evaluation ist es, den durchführungsverantwortlichen MitarbeiterInnen des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse sind entsprechend der Zielsetzungen des Programms hierbei Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen des Cusanuswerks, zur organisatorischen Ausgestaltung und Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten.
Methodisch umfasst die Evaluation eine Sekundäranalyse vorliegender Dokumente, eine Gruppendiskussion, vier standardisierte Online-Befragungen sowie die Erstellung drei qualitativer Tandem-Fallstudien. Im Mittelpunkt der standardisierten Befragungen stehen die Zufriedenheit mit dem Karriereförderprogramm sowie die Qualität der Beziehung zwischen den Nachwuchskräften und ihren TutorInnen. Die Datenerhebungen finden begleitend zur 15-monatigen Dauer des Karriereförderprogramms statt. Damit erhält die programmdurchführende Stelle regelmäßig Informationen über den Ablauf des Programms und die Qualität der Realisierung. Dieses Vorgehen ermöglicht eine frühe Identifikation eventueller Probleme und eine zeitnahe Entwicklung geeigneter Maßnahmen zu deren Behebung. Da das CEval auch die Pilotphase des Förderprogramms begleitend evaluierte, können zusätzlich Vergleiche zwischen den beiden Förderphasen gezogen werden.
Young Africans educated at German universities are regarded by the DAAD as important resource persons who are able to play a key role in processes of development towards rule of law, democracy and economic prosperity after their return to their home countries. The African Good Governance Network (AGGN) was established at the beginning of 2007 under the patronage of Germany's Federal President. This network is intended to contribute to the expansion and deepening of academic cooperation between Sub-Sahara Africa and Germany and at the same time to promote future African leaders in the field of good governance. The members of the AGGN support the principles of good governance, recognise them and actively disseminate them.
The AGGN can be understood as a long-term training programme in which up to ten new members are admitted annually. The network currently has 32 members from fourteen African countries who meet up to three times a year for workshops and seminars. These seminars deal with various theoretical and practical aspects of good governance as well as various personal skills. The aim is to raise awareness and understanding of good governance and the associated social attitude. The task of the evaluation was to evaluate the results and effects achieved so far and, on this basis, to derive recommendations for action for the design of further programme activities. The evaluation also takes the further development of the network and its potential into account.
The evaluation was methodically based on secondary and document analyses, a standardised online survey of all AGGN members and participation in one of the AGGN seminars in South Africa, in the context of which the results of the standardised survey were discussed with the AGGN members themselves.
Spätestens seit der Verabschiedung der Milleniumserklärung der Vereinten Nationen im September 2000 kommt der Frage nach den Wirkungen von Entwicklungszusammenarbeit eine zentrale Bedeutung zu. Um zu ermitteln, ob eine Entwicklungsmaßnahme die erwünschten positiven Wirkungen erreicht und negative Nebenwirkungen vermeidet, werden Indikatoren als Hilfsinstrumente eingesetzt. Die Auswahl von geeigneten Indikatoren und deren Messung stellt Verantwortliche in Vorhaben der Beruflichen Bildung oftmals vor große Herausforderungen. Das CEval entwickelt eine Handreichung zur praktikablen Herangehensweisen für die Auswahl und Messung von Indikatoren im Zusammenhang von Maßnahmen der Beruflichen Bildung für die GTZ. Dabei werden u.a. folgende Fragen beantwortet:
Welche Indikatoren sind besonders geeignet, die klassischen Ziele von Maßnahmen der Beruflichen Bildung abzubilden?
Welche Daten werden in welcher Qualität benötigt?
Welche Methoden sollen zur Datenerhebung bzw. Messung angewandt werden?
Wie kann der Forderung nach Baseline-Daten und der Ermittlung von Nettowirkungen praktikabel nachgekommen werden?
Das Goethe-Institut als zentraler Sprach- und Kulturmittler der deutschen Auswärtigen Kultur- und Bildungspolitik initiierte von 2008 bis 2009 mit verschiedenen Partnern in einem zweijährigen Programmschwerpunkt das internationale Projekt „Sprachen ohne Grenzen“. Ziel ist es, die besondere Bedeutung und den besonderen Nutzen von Mehrsprachigkeit für Politik, Wissenschaft und Wirtschaft von Gesellschaften sowie für die Gesellschaft als Ganzes und für die Entwicklung der einzelnen Individuen zu verdeutlichen. Hierdurch soll ein Beitrag zur Erhaltung und Förderung der Sprachenvielfalt v.a. in der EU geleistet und damit auch die Integration innerhalb der EU gefördert werden.
„Sprachen ohne Grenzen“ setzt sich aus verschiedenen Säulen zusammen. Im Rahmen der zentralen Abschlussveranstaltung zum Programm deckt die Konferenz „Sprache und Integration“ die Programmsäule Mehrsprachigkeit und Politik ab. Im Rahmen der zweitägigen Konferenz werden an je einem Tag die Themen „Prüfungen“ und „Herkunftssprachen“ behandelt; die Konferenz endet mit einer Podiumsdiskussion. Im Rahmen der Konferenz werden etwa 20 ReferentInnen aktiv zur Programmgestaltung beitragen und es werden ca. 200 BesucherInnen erwartet, die sich aus PraktikerInnen, beratenden Fachleuten und BildungspolitikerInnen zusammensetzen.
Aufgabe der Evaluation ist zum einen eine Bewertung der Zielerreichung, indem zu untersuchen ist, ob ein nachhaltiger Erfahrungs- und Informationsaustausch zwischen Sprachexperten und Entscheidungsträgern der Mitgliedstaaten der EU zum Thema „Sprache und Integration“ initiiert und gefördert wurde. Zum anderen soll eine Erhebung der Zufriedenheit der Konferenzteilnehmer u.a. Aufschluss über die Relevanz der gewählten Themen geben. Hierzu werden alle BesucherInnen und ReferentInnen mittels eines standardisierten Fragebogens befragt.
Gegenstand des Projekts „eCampus Saar - Bildungsinnovation durch Bildungstechnologien an den Hochschulen des Saarlandes -“ war einerseits der Ausbau des an der Universität des Saarlandes vorgehaltenen Learning Management Systems CLIX Campus zur Nutzung an der Hochschule für Musik Saar (HfM), der Hochschule der Bildenden Künste Saar (HBK) sowie der Hochschule für Technik und Wirtschaft des Saarlandes (HTW) sowie andererseits die Integration von bestehendem und die Entwicklung von neuen eLearning-Inhalten auch unter Nutzung neuer Web 2.0-Anwendungen und deren Einbindung in das Learning Management System CLIX Campus.
Im Rahmen dieses Projekts führte das CEval eine Sachstands- und Bedarfsanalyse durch. Diese zielte darauf ab, intersubjektiv überprüfbares Wissen über die Ausgangssituationen der Hochschulen im Hinblick auf den vorliegenden eLearning-Content, möglicherweise bereits genutzte Web 2.0-Dienste sowie im Einsatz befindliche Verwaltungs- und Learning Management Systeme zu erstellen. Methodisch wurde hierzu auf eine standardisierte Befragung aller ProfessorInnen der beteiligten Hochschulen sowie auf leitfadengestützte Interviews mit den strategisch und operativ Verantwortlichen der Hochschulen zurückgegriffen.
Das Projekt „Starke Verbraucher für ein gutes Klima“ wird von der Verbraucherzentrale Bundesverband e.V. als Dachorganisation der 16 Verbraucherzentralen der Bundesländer in Kooperation mit fünf weiteren verbraucherpolitisch orientierten Verbänden im Auftrag des Bundesministeriums für Umwelt, Naturschutz und Reaktorsicherheit (BMU) durchgeführt. Ziel des Projektes ist es, die Akzeptanz für Klimaschutzmaßnahmen zu erhöhen und das Potenzial privater Haushalte beim Verhalten, Konsumieren und Investieren für den Klimaschutz besser zu nutzen.
Die begleitende Projektfortschrittkontrolle widmet sich insbesondere der externen Wirksamkeit des Klimaprojekts und versucht darüber hinaus, Best-Practice Beispiele im Rahmen eines benchmarking-Verfahrens zu ermitteln. Zu den Arbeitsaufgaben gehört die Entwicklung von Erhebungsinstrumenten, die Durchführung von Datenerhebungen, die Auswertung selbst- und fremderhobener Daten, eine begleitende und möglichst aktuelle Berichterstattung (u.a. durch zeitnahe Dokumentationen von Ergebnissen für die Intranetplattform ELVIS) während des Projektverlaufs sowie zur Dokumentation der Zwischen- und Abschlusskontrolle.
Bei dem Projekt „Medienhilfe für Zentralasien 2009“ handelte es sich um ein Bündel von insgesamt 5 übergreifenden Trainings und 13 Inhouse-Trainings für zentralasiatische Radiosender, die in den beteiligten Ländern der Region sowie in Deutschland durch die Deutsche Welle-AKADEMIE realisiert wurden. Ausgangspunkt für die Zusammenarbeit der Radiostationen mit der Deutsche Welle-AKADEMIE waren Zielvereinbarungen. Diese Zielvereinbarungen nahmen für die Evaluation eine wichtige Rolle ein, da die Überprüfung der Zielerreichung als Aufgabe der Evaluation auf Basis der Zielvereinbarungen erfolgte. Hierzu wurden begleitende standardisierte Befragungen der Trainingsteilnehmer durchgeführt, deren Ergebnisse zeitnah an die Deutsche Welle-AKADEMIE übermittelt wurden. Ca. 4 bis 5 Monate nach Abschluss der Einzelmaßnahmen erfolgte eine summative Abschlussbefragung der beteiligten Sender, in der die Überprüfung des Erreichens der vereinbarten Ziele im Zentrum des Interesses stand.
Das 2003 gegründete Netzwerk ‘Northern Dimension Partnership in Public Health and Social Well-Being’ (NDPHS) zielt auf eine Verbesserung der gesundheitlichen und sozialen Bedingungen in den Ländern des Northern Dimension Area ab und legt hierbei seinen Schwerpunkt auf die nordöstlichen Länder Europas.
Aufgabe einer bereits 2008 durchgeführten Evaluation des Netzwerks war es, die NDPHS-Aktivitäten der ersten fünf Jahre seit Bestehen des Netzwerks zu analysieren und Empfehlungen zu dessen Weiterentwicklung zu erarbeiten. Aufbauend auf den Ergebnissen dieser Evaluation wurde im Jahr 2009 eine weiterführende Beratung zur Entwicklung von Indikatoren zur Überprüfung der Zielerreichung realisiert.
Im Februar 2008 wurde die Initiative „Schulen: Partner der Zukunft“ von Außenminister Steinmeier ins Leben gerufen. Akteure des Programms sind neben dem Auswärtigen Amt die Zentralstelle für das Auslandsschulwesen, das Goethe-Institut, der Deutsche Akademische Austauschdienst sowie der Pädagogische Austauschdienst. Programmziel ist, das weltweite Netzwerk von Partnerschulen mit verstärkter Deutschlandbindung auszubauen, um zukünftige Partner für die deutsche Wirtschaft, Politik, Wissenschaft, Bildung und Kultur zu gewinnen und den Wirtschaftsstandort Deutschland im Bildungswettbewerb zu stärken. Geographische Schwerpunkte des Programms sind die Wachstumsregionen Asien, Naher und Mittlerer Osten, GUS sowie Mittel- und Osteuropa.
Gegenstand der Zwischenevaluation ist die Überprüfung der Effektivität, der Relevanz und der Effizienz der bisherigen Maßnahmen und eingesetzten Instrumente. Zudem sollen Hinweise zur Wirksamkeit und der zu erwartenden Nachhaltigkeit des Programms abgeleitet werden.
Methodisch basiert die Zwischenevaluierung auf Dokumentenanalysen und standardisierten Befragungen unterschiedlicher Schülergruppen. Zudem werden in drei ausgewählten Ländern Länderfallstudien durchgeführt, in deren Rahmen Leitfadeninterviews mit Experten und Partnerschulen vor Ort geführt werden.
Gegenstand des Projektes eCeL (E-Chalk und E-Learning) war die infrastrukturelle Integration eines interaktiven und multimedialen eChalk-Systems in ausgewählten Lehrveranstaltungsräumen der Fakultäten Mathematik und Medizin der Universität des Saarlandes. Es verfolgte also den Aufbau einer „elektronischen Tafel“ und deren Verknüpfung mit dem e-Learning-System activeMath sowie dem Learning-Management-System der Universität des Saarlandes, CLIX Campus. Das Projekt zielte somit auf eine überdauernde, substantielle Verbesserung der Wissensvermittlung, Betreuung und Prüfungsvorbereitung der Studierenden.
Aufgrund des Modellcharakters von eCeL an der Universität des Saarlandes wurde im Rahmen der Evaluation eruiert, inwiefern die angestrebten Verbesserungen der Lehr-Lern-Situationen erreicht werden. Methodisch wurde hierzu auf teilnehmende Beobachtungen, leitfadengestützte Befragungen der Veranstaltungsleiter und standardisierte Befragungen der Studierenden zurückgegriffen.
Balkankriege und fortdauernde politische Spannungen hatten verheerende Auswirkungen für das Wissenschaftssystem in den neu entstandenen Staaten des ehemaligen Jugoslawiens. Damit verbunden waren auch Beeinträchtigungen in der gesamten Region Südosteuropa (SOE). Zur Förderung des Wiederaufbaus des Wissenschaftssystems in SOE hat die Alexander von Humboldt-Stiftung (AvH) neue Förderinstrumente entwickelt, für die im Bereich der Geistes- und Sozialwissenschaften von der Fritz Thyssen Stiftung und im Bereich der Natur- und Ingenieurwissenschaften vom Auswärtigen Amt finanzielle Mittel zur Verfügung gestellt wurden. Die Sonderprogramme zielen auf eine Förderung der wissenschaftlichen Vernetzung innerhalb der Region, die Wiederanbindung an die deutsche und internationale Forschungsgemeinschaft sowie die Förderung des wissenschaftlichen Nachwuchses.
Als Instrumente wurden in beiden Sonderprogrammen sog. ‚Tandem-Wiedereinladungen’ an deutsche Forschungsinstitute – für erfahrene Humboldtianer in Begleitung eines Nachwuchswissenschaftlers – und die Finanzierung ‚Regionaler Fachtagungen’ eingesetzt.
Aufgabe der summativen Evaluation war die durch die Sonderprogramme erreichten Wirkungen zu überprüfen und Einschätzungen zur Tauglichkeit der entwickelten Förderinstrumente im Hinblick auf die Verwendung in Krisenregionen im Allgemeinen abzugeben.
Methodisch basierte die Evaluation auf Dokumenten- und Sekundäranalysen für beide Förderinstrumente. Insbesondere Sekundäranalysen vorliegender Befragungsdaten der Geförderten und anderer Programmbeteiligter bildeten einen Schwerpunkt der Evaluation. Zur Klärung der Kontextbedingungen unter denen die Förderungen stattfanden erfolgten Internet- und Literaturrecherchen sowie Leitfaden gestützte Experteninterviews. Zur Erhebung von längerfristigen Programmwirkungen wurde für das Förderinstrument ‚Tandem-Wiedereinladungen’ eine standardisierte Online-Befragung der geförderten Nachwuchswissenschaftler eingesetzt; für die Bewertung des Förderinstruments ‚Regionale Fachtagungen’ wurden Leitfaden gestützte telefonische Interviews mit Organisatoren von Tagungen und weiteren Stakeholdern durchgeführt.
Seit 1995 vergibt der Verein „Kreis der Freunde und Förderer der Villa Aurora e.V.“, einer der kleineren Mittlerorganisationen der Auswärtigen Kultur- und Bildungspolitik mit Sitz in Berlin und Los Angeles, jährlich zwölf bis fünfzehn Stipendien an in Deutschland lebende und arbeitende Künstler für einen dreimonatigen Arbeitsaufenthalt in der Künstlerresidenz Villa Aurora in Los Angeles und führt zusammen mit lokalen Partnern Kulturveranstaltungen durch, die den Stipendiaten Gelegenheit geben, ihre Arbeiten zu präsentieren sowie Kontakte zu dortigen Künstlern und Institutionen aufzubauen.
Gegenstand der Evaluation war die Überprüfung der Qualität, Effizienz und Nachhaltigkeit der Vorbereitung der Stipendiaten durch die Berliner Geschäftsstelle sowie die Vor-Ort- und Nachbetreuung der Stipendiaten.
Methodisch basierte die Evaluation auf Dokumentenanalysen, standardisierten Befragungen aller ehemaliger Stipendiaten und Stipendiatinnen sowie Leitfadeninterviews mit den Verantwortlichen in Berlin und in Los Angeles und den derzeit in der Villa anwesenden Stipendiaten.
Das Bundesprogramm "Perspektive 50plus" des Bundesministeriums für Arbeit und Soziales (BMAS) bildet das Dach für bundesweit 62 regionale Beschäftigungspakte zur beruflichen Wiedereingliederung älterer Langzeitarbeitsloser. Das Programm basiert auf einem regionalen Ansatz, der es den Beschäftigungspakten erlaubt, bei der Wahl der Integrationsstrategie gezielt auf die regionalen Besonderheiten einzugehen. Unterschiedliche Wege werden beschritten, um älteren Langzeitarbeitslosen eine faire Chance am Arbeitsmarkt zu bieten.
Das Forschungsprojekt hat zum Ziel auf Basis von sekundäranalytischen Analysen regionale Beschäftigungspakte zu identifizieren, deren Maßnahmen und Konzepte im Hinblick auf die Situation am saarländischen Arbeitsmarkt als ‚best practice’ gelten können.
In Bezug auf diese Maßnahmen werden leitfadengestützte Interviews mit relevanten Arbeitsmarktakteuren im Saarland und aus den identifizierten Pakten geführt, um Empfehlungen für die Übernahme und ggf. Anpassung erfolgversprechender Maßnahmen und Konzepte ableiten zu können.
Das IZES wurde im November 1999 auf Initiative des Landes Saarland, einzelner Energieunternehmen und Energiedienstleister sowie der Universität des Saarlandes und der Hochschule für Technik und Wirtschaft des Saarlandes (HTW) gegründet. Der Zweck der gemeinnützigen Gesellschaft besteht in der Förderung des Umweltschutzes insbesondere durch die anwendungsnahe Forschung und Entwicklung auf dem Gebiet von Zukunftstechnologien und Zukunftsmärkten für Energiesysteme. Dies geschieht durch beratende, begleitende und ausführende Tätigkeiten bei der Initiierung, Konzeption und Umsetzung von innovativen Maßnahmen zur rationellen Energienutzung und zur Nutzung erneuerbarer Energien.
Das IZES hat den Status eines An-Instituts der HTW. Sein Hauptsitz befindet sich im IT Park Saarland, an der HTW und am Innovationszentrum eines Energieunternehmens unterhält das IZES Test- und Demonstrationszentren mit vielfältigen Labor- und Testeinrichtungen.
Die Institutsevaluation soll Stärken und Schwächen des Instituts von Außen beleuchten und im Hinblick auf die Stellung des Instituts in der Forschungslandschaft der Bundesrepublik Deutschland mögliche zusätzliche Betätigungsfelder und Bereiche ohne reelle Zukunftschancen identifizieren. Hierbei soll die Ausrichtung des Instituts mit seinen vier Arbeitsfeldern Energiesystemtechnik, Stoffstrommanagement / Biomassenutzung, Energiewirtschaft / Zukunftsmärkte und Solarforschung untersucht werden. Insbesondere sind die Schwerpunktsetzungen des Instituts in Bezug auf den Einsatz der öffentlichen Fördermittel im Hinblick auf den damit zu erzielenden Nutzen für die Region zu betrachten.
Das Ziel der Evaluation besteht in der Erarbeitung von Empfehlungen im Hinblick auf die Ausrichtung des Instituts für die nächsten fünf bis sieben Jahre.
Methodisches Vorgehen: Die Evaluation des Instituts für Zukunftsenergiesysteme (IZES) erfolgt – vom CEval organisiert und begleitet – in drei Teilschritten:
Erstellung eines internen Evaluationsberichts durch das IZES
Befragungen von Auftraggebern, Kooperationspartnern und Aufsichtsratsmitgliedern des IZES durch das CEval
Durchführung einer externen Evaluation durch Fachgutachter
Als Grundlage für die Erstellung des internen Evaluationsberichts dient ein Fragenkatalog des CEval, der sich weitgehend am ‚Fragenkatalog für die Evaluierung von Einrichtungen der Leibniz-Gemeinschaft’ orientiert, jedoch an die Ausrichtung, Ziele und Bedingungen des IZES sowie die spezifischen Evaluationsziele angepasst wurde. Abweichend vom klassischen Vorgehen bei Institutsevaluationen erfolgen zusätzlich die Befragungen wichtiger Stakeholdergruppen durch das CEval in Form von Leitfaden gestützten telefonischen und persönlichen Interviews. Das CEval erstellt hierzu einen Bericht, der ergänzend zum internen Bericht des IZES der Vorbereitung der externen Fachgutachter dient. Die externe Evaluation durch die Gutachtergruppe erfolgt im Rahmen einer Institutsbegehung, die mit einem Abschlussgespräch unter Einbeziehung des Auftraggebenden Ministeriums endet. Das Abschlussgespräch wird vom CEval moderiert und protokolliert. Im Anschluss an den Begehungstermin erstellen die Fachgutachter einen Bericht zu der externen Evaluation. Die Berichte des IZES, des CEval und der Fachgutachter bilden zusammen den Gesamtbericht zur Evaluation, zu dem das Umweltministerium und das IZES Stellungnahmen abgeben, die in einem Abschlussworkshop diskutiert werden.
Im Zuge der Paris Declaration und der dadurch angestiegenen Anforderungen an die deutsche Entwicklungszusammenarbeit wird seit Mitte 2007 vom BMZ eine neue Verfahrensweise zur gemeinsamen Erstellung von Programmvorschlägen und Berichten eingeführt. Zielsetzung dieser neuen Verfahrensweise ist es, die Wirksamkeit der deutschen EZ durch die Verbesserung der politischen Steuerungsmöglichkeiten des BMZ zu erhöhen, die Abstimmung der DOs untereinander zu optimieren, die Effizienz der Ausgestaltung des Beitrags der deutschen EZ zur Armutsbekämpfung zu steigern sowie die Einbindung der Strategie des Partnerlandes und deren Verzahnung mit Beiträgen anderer Geber zu verbessern. Durch die Steigerung der Wirksamkeit der deutschen EZ soll ein wesentlicher Beitrag zur Erreichung der MDGs geleistet werden.
Ziel der Studie war es entsprechend, den Aufwand und Ertrag des Einsatzes gemeinsamer Programmvorschläge und gemeinsamer Berichterstattung zu analysieren sowie beabsichtigte und unbeabsichtigte Wirkungen zu ermitteln. Hierzu wurden 2008 im Rahmen zweier Länderstudien, einer mündlichen Befragung der mit der Konzeption der Verfahrensweise befassten Mitarbeiter aller staatlichen Durchführungsorganisationen sowie einer standardisierten Erhebung bei den Programmverantwortlichen Basisdaten erhoben. 2010 wurde eine weitere Erhebung realisiert, aufgrund derer die Wirkungshypothesen überprüft werden konnten.
Seit 2003 arbeitet die DW-Akademie im Kontext der deutschen Medienentwicklungszusammenarbeit und zielt mit ihren
Aktivitäten darauf ab, weltweit die Meinungsfreiheit zu fördern. Durch die Realisierung internationaler Projekte zu
Capacity Building will sie zu mehr Offenheit, Transparenz und Partizipation in den elektronischen Medien von Entwicklungs-
und Transformationsländern beitragen.
Gegenstand der Evaluation sind die Qualifizierungsmaßnahmen, die von der DW-Akademie in den Jahren 2004 bis 2007
durchgeführt wurden. Im Rahmen einer bilanzierenden ex-post Evaluation sollen die Qualität der Planung und
Durchführung dieser Maßnahmen sowie die entwicklungspolitischen Effekte und deren Nachhaltigkeit analysiert
und bewertet werden.
Methodisch basiert die Evaluierung auf Sekundär- und Dokumentenanalysen, standardisierten Befragungen der Dozenten,
Absolventen und Vertretern von Partnerorganisationen der DW-Akademie. Darüber hinaus werden 2009 drei
Länderfallstudien in Vietnam, Tansania und Kolumbien realisiert.
Gegenstand der Untersuchung war die Beratungsstelle für sozialverträgliche Technologiegestaltung e.V. (BEST) der
Arbeitskammer des Saarlandes und des DGB Saar. BEST berät, qualifiziert und informiert seit 1989 in erster Linie
Betriebsräte, Personalräte und Mitarbeitervertretungen zu einem breiten Themenspektrum der menschengerechten
Gestaltung von Arbeit und Technik. Die Tätigkeit erfolgt in enger Abstimmung mit den Gewerkschaften mit einem Fokus auf
(arbeitswissenschaftlich) fundierte Problemlösungen. Das Einsatzgebiet von BEST ist in aller Regel das Saarland. Ziel
der Untersuchung war die Erstellung eines Gutachtens zur Situation und Entwicklung des Marktes und der Kunden von BEST
anlässlich des zwanzigjährigen Jubiläums der Beratungsstelle. Das Gutachten soll insbesondere
Zukunftsperspektiven für BEST aufzeigen, indem zukünftige, wesentliche Entwicklungsmöglichkeiten
sowie Themen- und Tätigkeitsfelder von BEST eruiert werden.
Zur Datengewinnung wurden im Rahmen der Studie Dokumentenanalysen und leitfadengestützte Intensivinterviews mit
verschiedenen Experten durchgeführt, die eine interne oder externe Perspektive auf den Untersuchungsgegenstand
wiedergeben sollten (Leitung und MitarbeiterInnen von BEST, Vertreter der tragenden Organisationen (Arbeitskammer, DGB Saar,
saarländische Landesregierung), Kunden, Verbandsvertreter, Arbeitgeber, saarländische Wissenschaftler, Vertreter
anderer Einrichtungen zur technischen Beratung in Deutschland sowie Belegschaftsmitglieder, die bisher keine Leistungen
von BEST in Anspruch genommen hatten).
The aim of the project on behalf of Plan International India is to identify and eventually tackle structural causes of discrimination against women in India. To that end, responsible project managers of the partner organization should be enabled to implement gender-sensitive measures and to monitor and evaluate their impacts.
The task of the Center for Evaluation (CEval) was to provide support for the development of verifiable impact hypotheses and a user-friendly M&E system in cooperation with responsible project managers. Right at the beginning of the project, during a workshop in 2008, the LogFrame developed by Plan India had been discussed and revised regarding the measurability of included indicators. Further proceedings were a local training session in 2009 and further consultation services in the course of the project. In 2015, CEval conducted a final evaluation of the project.
Seit 1997 organisiert das Institut für Auslandsbeziehungen ifa e.V. als Partner des Auswärtigen Amts
im Kontext der politischen Öffentlichkeitsarbeit Mediendialoge, die darauf abzielen, einen fachlichen
Erfahrungsaustausch über ausgewogene, professionelle und objektive Berichterstattung vor allem in den Themenfeldern
Demokratievermittlung und Stärkung der Menschenrechte zu initiieren. Durch die Begegnungen von Journalisten aus
verschiedenen Ländern und Kulturkreisen sollen neben dem professionellen Erfahrungsaustausch grenzübergreifende
Netzwerke zwischen Journalisten, Medien, Medieninstituten und Universitäten geschaffen werden, die sowohl auf
individueller als auch organisationaler Ebene angesiedelt sein können.
Aufgabe der Evaluation war es, den Anfang September 2008 in der Ukraine realisierten Mediendialog
hinsichtlich der Zielerreichung und ausgelösten Wirkungen zu analysieren. Zur Datengewinnung wurden Dokumentenanalysen,
persönliche Kurz-Interviews während der Veranstaltung sowie eine standardisierte Befragung der Teilnehmer des
Mediendialogs realisiert.
Der Kreis Bergstraße hat in den Herbstferien 2008 erstmalig ein Feriencamp für Grundschüler
der 4. Jahrgangsstufe durchgeführt. Im Rahmen des Projekts wurden Schüler individuell in den schulischen
Kernfächern Deutsch und/oder Mathematik unterstützt. Neben der fachlichen Förderung erhielten die Schüler
nachmittags unterschiedliche freizeitpädagogische Angebote mit praktischen und gestalterischen Inhalten. Die
Kombination aus schulischer Förderung und pädagogischer Nachmittagsbetreuung zielte auf ein ganzheitliches Lernen
ab. Neben den konkreten schulischen Kompetenzen sollten auf diese Weise auch soziale bzw. motivationale Aspekte des
Lernens wie Selbstkonzept und Sozialverhalten verbessert werden.
Aufgabe der Evaluation war es, den Erfolg der Maßnahme unter Berücksichtigung möglicher
Veränderungen hinsichtlich der oben genannten Gesichtspunkte zu erfassen. Zur Datengewinnung wurden
Dokumentenanalysen, standardisierte Befragungen der Lehrer, Eltern und Schüler sowie Tests und Gruppendiskussionen
eingesetzt.
Gegenstand der Evaluation war das Austauschprogramm kafka, bei dem - im Rahmen von Städtepartnerschaften - Studierende aus
sieben Städten in Deutschland, Polen, Tschechien und Ungarn ein Praktikum in einer Behörde, einem kommunalen Unternehmen,
einer Sozial- oder Kultureinrichtung der Partnerstadt absolvieren. Ergänzt wird das Praktikum um ein fachliches
Begleitprogramm, durch das die Teilnehmerinnen und Teilnehmer einen breiten Überblick über die öffentlichen Aufgaben der
Gaststadt erhalten sollen.
Die Evaluation hatte zum Ziel, den längerfristigen Programmerfolg im Hinblick auf die ehemaligen Praktikanten und auch ihre
Arbeitgeberorganisationen zu untersuchen sowie anhand einer Marktrecherche zu Alleinstellungsmerkmalen von kafka
Entwicklungspotenziale des Programms aufzuzeigen.
Hierzu wurden Akten- und Dokumentenanalysen, Internetrecherchen, Interviews mit Mitarbeitern der Stiftung sowie
Online-Befragungen von ehemaligen Praktikanten und ihren Betreuern in den Betrieben durchgeführt.
Im August und September 2008 wurden zwei von der Caritas Schweiz in der indonesischen Provinz Aceh durchgeführte
Wiederaufbau- und Umsiedlungsprojekte evaluiert. Mit den Projekten, die in Folge des Tsunami und eines anschließenden
Nachbebens im Dezember 2005 initiiert wurden, sollte ein Beitrag zur Wiederherstellung der Wohn- und Lebensbedingungen der
von den Katastrophen betroffenen Bevölkerung in zwei Siedlungsgebieten in Küstennähe (Meulaboh und Singkil)
geleistet werden. Im Zentrum des Evaluationsvorhabens stand die Untersuchung und Bewertung der Wirksamkeit der Projekte
für die Begünstigten. Ziel der Evaluationen war es zu überprüfen,
inwieweit die Begünstigten erreicht wurden und Ihre Partizipationsmöglichkeiten angemessen waren,
ob die Projektmaßnahmen ausreichend an den Bedarfen der Begünstigten ausgerichtet waren (Relevanz und Signifikanz),
ob die intendierten Wirkungen in ausreichendem Maße erreicht wurden (Effektivität),
welche weiteren Wirkungen, also auch nicht intendierte Effekte, die Projekte im gesellschaftlichen Umfeld der
Begünstigten ausgelöst haben und schließlich
inwieweit von einer Nachhaltigkeit der Wirkungen ausgegangen werden kann und welche weiteren externen Faktoren hierbei eine
Rolle spielen.
Des Weiteren wurden die lokalen Rahmenbedingungen sowie die Effizienz des Umsetzungsprozesses beleuchtet.
Anhand der Untersuchungsergebnisse wurden Empfehlungen für weiterführende Aktivitäten in den Zielregionen
entwickelt.
Im Rahmen der Evaluation kam ein Multi-Methodenansatz zur Anwendung, der die Kombination sekundäranalytischer Verfahren
Dokumentenanalyse, Analyse der Rahmenbedingungen) sowie qualitativer und quantitativer empirischer Erhebungsmethoden
(leitfadengestützte Intensivinterviews, Beobachtung, standardisierte schriftliche Befragung)umfasste.
Zwischen dem Centrum für Evaluation (CEval) und der Universidad de Costa Rica (UCR) besteht seit einigen Jahren eine Kooperation zur Weiterentwicklung des seit 1995 implementierten ‚Masterstudiengangs in Evaluation von Projekten und Programmen zur sozialen Entwicklung’ der UCR. Im Rahmen dieser Vernetzungsbestrebungen soll zukünftig auch ein Dozenten- und Studierendenaustausch zwischen den beiden Masterstudiengängen in Evaluation stattfinden.
Dieses Vorhaben stieß bei dem DAAD auf breite Anerkennung und wird durch das Beraterprogramm des DAAD seit 2008 auch finanziell unterstützt.
Das Beratungskonzept sieht insgesamt acht Arbeitsaufenthalte/-treffen in Costa Rica und Deutschland vor. Im Rahmen der ersten vier Workshops wurden u. a. umfassende Veränderungen am Curriculum des „Master of Evaluation“- Studienprogramms der Universidad de Costa Rica vorgenommen, um diesen gemäß internationalen Anforderungen an Masterstudiengänge weiterzuentwickeln und an die im internationalen Evaluationskontext geltenden Standards für die Aus- und Weiterbildung zu überarbeiten. Darüber hinaus wurden die Marktbedürfnisse für einen akademischen Evaluationsabschluss in Costa Rica mithilfe einer Marktanalyse in sechs zentralamerikanischen Ländern eruiert und den Dozenten des Masterstudiengangs erste Weiterbildungsmaßnahmen zu Indikatorenentwicklung und Standards für Evaluation angeboten. In zukünftigen Arbeitstreffen wird basierend auf den Ergebnissen der durchgeführten Marktstudie eine Marketingstrategie für den Studiengang auf zentralamerikanischer Ebene entwickelt. Darüber hinaus sollen eine Bedarfs- und Praktikabilitätsanalyse des in Kooperation reformierten und in 2011 neu zu implementierenden Curriculums des Master of Evaluation Studienprogramms der Universidad de Costa Rica realisiert, weitere Dozentenfortbildungen für die erfolgreiche Umsetzung des modifizierten Studienprogramms angeboten sowie Anpassungen des überarbeiteten Masterstudiengangs an Gegebenheiten vor Ort vorgenommen werden.
Daneben werden Möglichkeiten der Verstetigung und Vertiefung der Kooperation zwischen beiden Hochschulen analysiert und weiterer Kooperationspartner für zukünftige Kooperationsstrategien identifiziert.
Gegenstand der Evaluation ist das vom BMBF finanzierte Programm des DAAD "PROFIS" mit dem Ziel der Verbesserung der Rahmenbedingungen für das Studium ausländischer Studierender an deutschen Hochschulen sowie für das Auslandsstudium deutscher Studierender. Die Untersuchung soll klären, ob die angestrebten Ziele des Programms erreicht wurden, ob die Grundidee der Entwicklung transferfähiger Modelle erfolgreich war, welche Maßnahmen und Projekte sich als besonders erfolgreich erwiesen haben und ob Verbesserungspotentiale in der Programmadministration, der Projektbegleitung und der Förderung der Dissemination identifiziert werden können. Zur Datengewinnung werden im Rahmen der Analyse u.a. standardisierte Online-Befragungen mit Hochschulen und Studierenden sowie Intensivinterviews mit den Programmbeauftragten durchgeführt.
Das "MentorinnenNetzwerk für Frauen in Naturwissenschaft und Technik" ist ein seit 1998 bestehender,
hochschulübergreifender Verbund aller hessischen Universitäten und Fachhochschulen und stellt mit inzwischen 1100
Mitgliedern das größte Mentoring-Projekt in der europäischen Hochschullandschaft dar. Das Netzwerk richtet sich an
Frauen in Natur- und Ingenieurwissenschaften, die sich in der Qualifizierungsphase Studium oder Promotion befinden und zielt
darauf ab, die Absolventinnenzahlen in naturwissenschaftlich-technischen Studiengängen und bei Promotionen zu erhöhen
sowie die Karrierechancen von Frauen in naturwissenschaftlich-technischen Berufen zu verbessern und damit den Frauenanteil
in attraktiven Positionen in Wissenschaft und Wirtschaft zu erhöhen.
Zu diesem Programm führte das Centrum für Evaluation eine Absolventenverbleibsstudie durch, die die in den bisherigen
internen und externen Evaluationen ausgeblendeten, langfristigen Entwicklungen ins Blickfeld nahm.
Hierbei wurde (u.a.) eruiert, wie sich die Teilnahme am MentorinnenNetzwerk für die Absolventinnen in beruflicher
Hinsicht auswirkte.
Zur Datenerhebung wurden zum einen leitfadengestützte Intensivinterviews mit Mentees und Mentorinnen sowie mit den
Verantwortlichen seitens der beteiligten Hochschulen und Unternehmen geführt. Zum anderen wurden mit Online-Befragungen
Daten zu den karrierespezifischen Wirkungen, zur Zufriedenheit der Teilnehmerinnen mit dem MentorinnenNetzwerk sowie zur
Qualität der tutoralen Beziehungen erhoben.
Im Rahmen der Evaluation wurde der Nutzen und die Effizienz der Bearbeitung internationaler Studienbewerbungen durch die Geschäftsstelle von uni-assist bewertet. Damit sollte dokumentiert werden, ob uni-assist seine Gründungsziele erreicht hatte und ob eine Mitgliedschaft bei uni-assist aus wirtschaftlicher und organisatorischer Sicht für weitere Hochschulen empfehlenswert ist. Hierfür wurden u.a. leitfadengestützte Interviews sowohl mit Vertretern teilnehmender als auch nichtteilnehmende Hochschulen sowie standardisierte Online-Erhebungen mit den verschiedenen Zielgruppen durchgeführt.
Das zu evaluierende Projekt zielt auf die Schaffung eines Bewusstseins in Politik und Medien zur Eindämmung des Problems der pränatalen Geschlechtsbestimmung und anschließenden Abtreibung weiblicher Föten sowie einer dauerhaften Verhaltensänderung in der Bevölkerung hinsichtlich der Thematik in vier nordindischen Bundesstaaten. Aufgabe der begleitenden Evaluation ist es, die wesentlichen Erfahrungen aus der bisherigen Umsetzungsphase zu analysieren und zu dokumentieren. Weiterhin sollen auf Grundlage der Untersuchungsergebnisse Empfehlungen für die weitere Projektgestaltung entwickelt und der konkrete Nutzen der Erkenntnisse für die Strategien und Programme der Trägerorganisation und ihrer Partner aufgezeigt werden. Methodisch stützt sich die Untersuchung auf eine Begutachtung vorliegender Projektdokumente sowie auf die Durchführung qualitativer Intensivinterviews zur vertiefenden Analyse der Einschätzungen und Erfahrungen aller Projektbeteiligten.
Das 2007 gestartete Programm „Talente sichern – Zukunft gestalten“ des Cusanuswerks - Bischöfliche Studienförderung setzt auf eine gezielte Förderung des weiblichen Führungsnachwuchses. Hierzu setzt das Programm auf Mentoringelemente, also eine tutorielle Betreuung von Stipendiatinnen deutscher Begabtenförderungswerke durch berufserfahrene AkademikerInnen, auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks. Neben überdurchschnittlichen Studienleistungen zeichnen sich die Stipendiatinnen dadurch aus, dass der Abschluss ihres Studiums bzw. der Promotion in maximal einem Jahr anvisiert ist oder dass sie Berufsanfängerinnen sind.
Zur Qualitätssicherung des Förderprogramms führte das CEval eine prozessbegleitende, externe Evaluation durch. Zentrale Aufgabe dieser Evaluation war es, den durchführungsverantwortlichen Mitarbeiterinnen und Mitarbeitern des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse waren entsprechend den Zielsetzungen des Programms hierbei Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen des Cusanuswerks, zur organisatorischen Ausgestaltung und Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten.
Methodisch umfasste die Evaluation neben einer Sekundäranalyse vorliegender Dokumente und leitfadengestützten Intensivinterviews mit den Verantwortlichen seitens der Träger vor allem standardisierte Erhebungen. Im Mittelpunkt der standardisierten Befragungen standen die Zufriedenheit mit dem Karriereförderprogramm sowie die Qualität der Beziehung zwischen den Nachwuchskräften und ihren TutorInnen. Die Befragungen fanden begleitend zur 15-monatigen Förderphase des Förderprogramms statt. Damit erhielt die programmdurchführende Stelle regelmäßig Informationen über den Ablauf des Programms und die Qualität der Realisierung. Dies ermöglichte eine frühe Identifikation eventueller Probleme sowie eine zeitnahe Entwicklung geeigneter Maßnahmen zu deren Behebung.
Seit 2004 fördert die AWO International e.V. das Projekt „Community Development in Maharashtra“ (Indien), durch das mit Hilfe eines partizipativen und nachhaltigen Managements der zur Verfügung stehenden natürlichen Ressourcen die Lebensgrundlage der armen ländlichen Bevölkerung in der Region gesichert werden soll. Hierfür wurden, in Kooperation mit ausgewählten Grassroots- und Gemeindeinstitutionen den Zielgruppen landwirtschaftliche Produktionsverfahren sowie Kompetenzen zur Selbstbestimmung und -regulierung vermittelt.
Im Rahmen der Evaluation soll u.a. festgestellt werden, inwieweit die einzelnen Maßnahmewirkungen einen Beitrag zur Oberzielerreichung leisten und wie effizient die dabei eingesetzten Mittel genutzt werden. Darüber hinaus sollen die Zielgruppenangepasstheit sowie die zu erwartende Nachhaltigkeit der Projektwirkungen überprüft und mögliche Anknüpfungspunkte zu den politischen Strategien zur Unterstützung der Zielgruppen identifiziert werden.
Im Rahmen der Forschungsstudie wurde die aktuelle internationale Diskussion über „(Rigorous) Impact Evaluations“ und deren Durchführung im Rahmen der Entwicklungszusammenarbeit eingehend analysiert. Im Vordergrund standen dabei experimentelle bzw. quasi-experimentelle Designs und die verschiedenen Verfahren zur Bildung von Kontroll- oder Vergleichsgruppen. Methodisch wurden zentrale Dokument, Internetauftritte und Workshopdokumente relevanter Akteure analysiert.
Im Rahmen des Trainings werden Module zu Monitoring, Evaluation, Datenerhebungsmethoden und Datenauswertung sowie Reporting angeboten. Außerdem findet ein Backstopping von InWEnt Alumni zum Thema M&E statt.
Im Rahmen des Trainings werden Module zu Qualitätsmanagement, Monitoring, Evaluation, Datenerhebungsmethoden Datenauswertung sowie Reporting angeboten mit dem Schwerpunkt auf Berufsbildung.
Parallel zur Internationalen Bauaustellung (IBA) in Hamburg, die von
2006-2013 stattfindet, wurde die „Bildungsoffensive Elbinseln“ (BOE) ausgerufen, da die baulichen Maßnahmen auf den Elbinseln (d.h. Wilhemsburg, Veddel, Harburger Binnenhafen) mit einer Verbesserung des Bildungsangebots zu unterstützen.
Hauptziele des Projektes BOE sind somit die Förderung der gesellschaftlichen Integration der Bewohner der Elbinseln sowie eine Stärkung des Wohnstandortes Elbinseln durch attraktive Bildungseinrichtungen. Zentrale Maßnahmen des Projektes sollen insbesondere an bereits regional und lokal vorhandenen Handlungsansätzen aufbauen.
Ziel der formativ angelegten Evaluation des CEval ist es, prozessbegleitend die Lenkungsgruppe und sonstige beteiligte Akteure bei der Entwicklung des Gesamtkonzepts zur BOE zu unterstützen, indem zum einen die inhaltliche Tragfähigkeit des Konzeptes im Hinblick auf die avisierten Zielgruppen evaluiert wird und zum anderen Steuerungs- und Koordinierungsabläufe zwischen zentralen Netzwerkakteuren im Hinblick auf die Etablierung eines leistungsfähiges Netzwerkmanagement untersucht werden.
Hierzu führt das CEval Leitfadeninterviews mit den Vertretern der Steuerungsgremien sowie mit Vertretern von Einrichtungen bzw. Initiativen und nimmt kontinuierlich an den Sitzungen der Lenkungsgruppe teil.
Zudem wird eine Delphi-Befragung mit 5-10 Experten aus den Themenbereichen der BOE durchgeführt.
Die Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) GmbH hat ihr bestehendes Evaluierungssystem 2005 mit der Einführung von Ex-post Evaluierungen vervollständigt und lässt seither im Auftrag des BMZ jährlich weltweit ca. 25-30 Unabhängige Evaluierungen (UE) in dessen Kooperationsländern durch unabhängige wissenschaftliche Institute und Consultingunternehmen evaluieren (je ca. zehn Evaluierungen laufender Vorhaben, zehn Schluss- und zehn ex-post Evaluierungen). Hierfür wurde u.a. mit dem CEval ein zweiter Rahmenvertrag für die Jahre 2007 bis 2009 geschlossen.
Im Rahmen des Auftrages führte das CEval im Auftrag der GTZ in diesem Zeitraum 15 Unabhängige Evaluierungen und Wirkungsevaluierungen in den Sektoren Energie, Wasser, Mikrofinanzen und Berufliche Bildung durch.
Vier der Vorhaben evaluierten CEval-Mitarbeiter als Wirkungsevaluationen zur Erprobung eines durch das CEval erstellten Konzepts, zur methodisch anspruchsvolleren Wirkungsmessung im Rahmen von GTZ Unabhängigen Evaluierungen in Anlehnung an Rigorous Impact Evaluations (RIE). Prämisse des Konzepts war die Berücksichtigung des Leitfadens zur Erfolgsbewertung von GTZ unabhängigen Evaluierungen und der Alltagstauglichkeit, d.h. die Durchführung unter vertretbarem zeitlichem und finanziellem Rahmen. Das methodische Konzept beinhaltete: (a) Hypothesengeleitete Ursache-Wirkungsuntersuchung unter Berücksichtigung der GTZ Wirkungskette, (b) Quasiexperimentelles Forschungsdesign mit Vorher-Nachher Ansatz sowie Ziel- und Vergleichsgruppenansatz, (c) Multi-Methoden-Ansatz mit Berücksichtigung einer standardisierten Zielgruppenbefragung und (d) Adäquate Datenauswertungsmethoden (Einsatz von uni- und multivariaten statistischen Analyseverfahren). Wirkungen/Veränderungen sollten zu den Messzeitpunkten t1 (Ausgangssituation) und t2 (Zeitpunkt der Evaluation) identifiziert und die kausale Zuschreibung zum Evaluationsgegenstand (kausale Ursache-Wirkungszuschreibung) ermöglicht werden.
Alle weiteren elf Evaluierungen wurden unter der Koordination von Nicolà Reade und Stefan Silvestrini von CEval-Mitarbeitern sowie externen Gutachtern aus dem In- und Ausland umgesetzt.
Zu den Evaluierungen und Wirkungsevaluierungen in 2007 bis 2009 gehörten:
Laufende Evaluierung der GTZ Entwicklungsmaßnahme „Förderung produktiver Kleinwasserkraftnutzung, Nepal" (2007)
Laufende Evaluierung der GTZ Entwicklungsmaßnahme „ProBEC Effiziente Nutzung von Biomassenenergie im Südlichen Afrika" (2007)
Schluss Evaluierung der GTZ Entwicklungsmaßnahme „Förderung von Klein- und Mittelunternehmen, Mongolei" (2007)
Ex-post Evaluierung der GTZ Entwicklungsmaßnahme „Beratung zur Förderung der rationellen Energieverwendung (DEDP), Thailand" (2007)
Ex-post Evaluierung der GTZ Entwicklungsmaßnahme „Energieeinsparung in Klein- und Mittelindustrie im Bundesstaat Rio de Janeiro, Brasilien" (2007)
Ex-post Evaluierung der GTZ Entwicklungsmaßnahme „Förderung der Energieeffizienz in Gebäuden in Erzurum, Türkei" (2007)
Laufende Wirkungsevaluierung des KV Programms "Entwicklung des Wassersektors, Kenia" (2008)
Laufende Wirkungsevaluierung des KV "Programms für die Reform des Wassersektors, Sambia" (2008)
As part of the contract, an M&E concept is being developed for the TVET Reform programme in Cairo, Egypt. In addition, the responsible M&E expert on site is backstopping on M&E issues.
Gegenstand des Projektes war die vom Deutschen Akademischen Austausch Dienst (DAAD) in Auftrag gegebene Verbleibstudie zu den beiden Stipendienprogrammen "Siemens / DAAD Scholarship Initiative for Young Engineers from Central and Eastern Europe" und "DAAD - Siemens Scholarship Program ASIA 21st Century". Im Rahmen der Stipendien wurde seit 1999 insgesamt 215 jungen IngenieurInnen aus 19 Ländern ein Master-Studium an einer deutschen Hochschule ermöglicht. Mit den Stipendienprogrammen verfolgten die Siemens AG und der DAAD zwei zentrale Ziele: einen Beitrag zur wissenschaftlichen und ökonomischen Entwicklung beider Regionen zu leisten und den Ausbau der Internationalität der deutschen Hochschulen zu unterstützen.
Die vom CEval durchgeführte Evaluation konzentrierte sich auf die akademischen und beruflichen Karriereverläufe der Stipendiaten im Anschluss an das Master-Studium. Mit Hilfe einer Online-Befragung aller Stipendiaten wurden die Wirkungen der Programme analysiert, so dass – kurz vor Abschluss der Förderungen in 2007 – eine Bilanz über deren Nutzen gezogen werden konnte.
Aufgrund der Veränderungen der internationalen und nationalen Rahmenbedingungen und des weiter gewachsenen Drucks zu verbesserter Effektivität, Effizienz und Rechenschaftslegung entschloss sich das BMZ, die Qualität des deutschen EZ-Evaluationssystems erneut überprüfen zu lassen.
Mit der Planung und Durchführung der Untersuchung wurde das Hamburgische Weltwirtschafts-Institut (HWWI) betraut, das die Evaluierung in enger Kooperation mit dem Centrum für Evaluation (CEVAL) durchführte. Zudem waren die Leiter der Evaluierungsabteilungen der belgischen und schweizerischen Entwicklungszusammenarbeit an der Durchführung beteiligt.
Ziel der Evaluation war es, die Evaluationssysteme des BMZ und der staatlichen und nicht-staatlichen EZ-Institutionen im Hinblick auf ihre Organisation, Konzeption, Methoden und Verfahren sowie Umfang und Struktur zu bewerten und Ansatzpunkte zur Fortentwicklung des Gesamtsystems zu entwickeln.
Untersuchungsgegenstand der Systemprüfung waren insbesondere das BMZ, die staatlichen Durchführungsorganisationen (KfW, GTZ, InWEnt, DED, PTB, BGR), die DEG, die Politischen Stiftungen, die Kirchlichen Zentralstellen, die Deutsche Welthungerhilfe, das Institut für internationale Zusammenarbeit – Deutscher Volkshochschulverband, der Deutsche Caritasverband/Caritas International sowie die Sozial- und Entwicklungshilfe des Kolpingwerks.
Methodisch basierte die Evaluation auf einem standardisierten Self-Assessment der EZ-Organisationen, leitfadengestützten Intensivinterviews mit Vertretern der Organisationen, einer Dokumentenanalyse und einer standardisierten Befragung aller nicht in der Auswahl vorhandenen NROs der deutschen EZ.
Die Anforderungen an die deutsche EZ, strukturelle Wirkungen in den Partnerländern zu entfalten, die zur Armutsminderung beitragen, haben auch die Ziele sowie Beratungsansätze und -methoden von Stadtentwicklungsvorhaben beeinflusst. Dabei rücken immer stärker Governance-Fragestellungen in den Mittelpunkt, was bedeutet, dass Aushandlungs- und Entscheidungsprozesse sowohl in der Stadt aber auch in übergeordnete Ebenen organisiert und nach Kriterien der guten Regierungsführung gestaltet werden müssen.
Ziel des Auftrages war die Erarbeitung eines Analyserasters, das der konzeptionellen und methodischen Weiterentwicklung des Politikberatungsansatzes in Stadtentwicklungsvorhaben dienen sollte. Hierfür wurden die erforderlichen theoretischen und inhaltlichen Grundlagen zur Erarbeitung des Analyserasters geschaffen. Das Analyseraster sollte in weiteren Gutachtereinsätzen in Stadtentwicklungsvorhaben erprobt werden. Auf Grundlage der durch die Anwendung des Analyserasters gewonnenen Erkenntnisse wurde schließlich ein Monitoring-Instrument entwickelt.
Die Konrad-Adenauer-Stiftung (KAS) fördert mit Hilfe ihrer Stipendienprogramme die Aus- und Fortbildung von Fach- und Führungskräften aus Entwicklungsländern sowie aus den Transformationsstaaten Mittel- und Südosteuropas. Ziel der Maßnahme ist es, die Leistungsfähigkeit der lokalen Partnerorganisationen zu stärken und Persönlichkeiten zu fördern, die für die Projektarbeit wichtig sind bzw. von denen erwartet werden kann, dass sie als Multiplikatoren oder Stützpunkte wirken.
Aufgabe der Evaluation war eine Bewertung der internationalen Stipendienprogramme der Stiftung für den Förderzeitraum von 1998 bis 2006 und die Entwicklung handlungsorientierter Empfehlungen für den Einsatz des Programms in den kommenden Jahren. Hierfür wurden vier Länderfallstudien in Afrika (Südafrika), Asien (Vietnam und Kambodscha), Europa (Russland und Bosnien-Herzegowina) und Lateinamerika (Argentinien und Chile) durchgeführt. Die Evaluationsergebnisse wurden nicht nur in Form einzelner Fallstudien sondern auch vergleichend in einem zusammenfassenden Synoptischen Summary dokumentiert. Methodisch basiert die Evaluierung auf leitfadengestützten Intensivinterviews mit den Stipendiaten und Auslandsmitarbeitern in den Zielländern sowie mit den zuständigen Stiftungsmitarbeitern in Deutschland. Des Weiteren wurde eine Auswertung vorhandener Daten und Dokumente zum Projektverlauf vorgenommen.
Im Rahmen des Trainings werden Module zu Qualitätsmanagement, Monitoring, Evaluation, Datenerhebungsmethoden Datenauswertung sowie Reporting angeboten mit dem Schwerpunkt auf Berufsbildung.
Das Centrum für Evaluation (CEval) untersucht innerhalb des von der Kooperationsstelle Wissenschaft und Arbeitswelt in Zusammenarbeit mit der Arbeitskammer des Saarlandes geförderten Forschungsvorhabens „Arbeitswelt Europa – Auswirkungen der Europäisierung auf das Saarland, auf die Arbeitswelt des Saarlandes und die Großregion im Umfeld des Saarlandes“ die Bedeutung der europabezogenen Expertise an den saarländischen Hochschulen - insbesondere der UdS - und der diesbezügliche Qualifikationen ihrer AbsolventInnen für Unternehmensansiedlungen und Existenzgründungen im Saarland und damit für die wirtschaftliche Entwicklung und die Beschäftigungslage im Saarland.
Ziel des Forschungsprojekts ist zu klären, welche Nachfrage von Seiten der saarländischen Wirtschaft nach europabezogenen Qualifikationen von AbsolventInnen der saarländischen Hochschulen besteht. Diese Fragestellung soll in Hinblick auf die Bedeutung der Nachfrage nach Qualifikationen für Unternehmensansiedlungen und Existenzgründungen im Saarland betrachtet werden. Darüber hinaus soll untersucht werden, ob die europabezogene Expertise an der UdS und die entsprechenden Qualifikationen ihrer AbsolventInnen, Chancen für ExistenzgründInnen im Saarland bieten.
Das Design der Studie umfasst in der explorativen Phase qualitative Erhebungen bei den Mitarbeitern relevanter Informations- und Beratungsorganisationen für Existenzgründungen und Unternehmensansiedlungen. Aus den hierbei gewonnenen Informationen und aus der Analyse verfügbarer Dokumente und Statistiken wird das Untersuchungsfeld für standardisierte Befragungen von Unternehmen und ExistenzgründerInnen abgesteckt und es werden die untersuchungsleitenden Hypothesen für die standardisierten Befragungen abgeleitet, die die Basis für die quantitative Überprüfung der entwickelten Hypothesen liefern.
Gegenstand der Evaluation waren die ersten Erfahrungen der Betroffenen mit der Umsetzung der im Juni 2004 in Kraft getretenen Novellierung der saarländischen Bauordnung. Mittels unterschiedlicher qualitativer und quantitativer Erhebungsmethoden wurden insbesondere die Akzeptanz und Wirkungsweise der Verfahrensreform untersucht. Neben Intensivinterviews mit Experten aus dem Bauwesen kamen dabei standardisierte schriftliche Befragungen sowie statistische Analysen zum Einsatz.
Als Ergänzung zur im Januar 2007 abgeschlossenen Evaluierung der Landesbauordnung des Saarlandes wurden leitfadengestützte Interviews mit privaten Bauherren durchgeführt, um Erkenntnisse über die Akzeptanz der Neuregelungen bei dieser Gruppe von Normadressaten zu gewinnen. Darüber hinaus sollte geklärt werden, welche Probleme mit der Gesamtheit staatlicher Reglementierungen für die Bauherren verbunden sind.
Gemäß der Ziel- und Leistungsvereinbarung über die Einführung eines Learning-Management-Systems an der Universität des Saarlandes zwischen der Landesregierung des Saarlandes vertreten durch
das Ministerium für Bildung, Kultur und Wissenschaft und das Ministerium für Wirtschaft und der Universität des Saarlandes vom 22.12.2005 wird an der Universität des Saarlandes das Learning-Management-System CLIX Campus ® eingeführt.
Diese Einführung wird vom Centrum für Evaluation mit einer formativen und summativen Evaluation unter Einbeziehung externer Sachverständiger begleitet.
2001 förderte die Alexander von Humboldt-Stiftung mit Mitteln des Bundesministeriums für Bildung und Forschung (BMBF) erstmalig das Wolfgang Paul- sowie das Sofja Kovalevskaja-Preisträgerprogramm. Ziel beider Preise ist es, dem Forschungsstandort Deutschland einen international sichtbaren Impuls zu geben, indem hervorragend qualifizierte jüngere Wissenschaftler aus aller Welt durch ein attraktives Angebot gewonnen werden, innovative und zukunftsweisende Forschungsvorhaben durchzuführen. Die beiden Preise wurden im Jahr 2001 an 43 Wissenschaftler/-innen vergeben, die an deutschen Gastinstituten Forschungsarbeiten durchführten. Im Mittelpunkt der Studie standen die Bewertungen der Forschungsaufenthalte durch die Preisträger sowie durch die Gastinstitute. Als Erhebungsmethoden zum Einsatz kamen hierbei neben Leitfadeninterviews mit ausgewählten Preisträgern und deren jeweiligen „Gastgebern“ eine Onlinebefragung aller Preisträger und Gastinstitutionen.
Das Centrum für Evaluation (CEval) wurde vom AUDIT Familiengerechte Hochschule der Universität des Saarlandes (UdS) beauftragt, innerhalb des von der Kooperationsstelle Wissenschaft und Arbeitswelt der UdS sowie der Arbeitskammer des Saarlandes geförderten Forschungsvorhabens „Managing Diversity – Studie zu Aspekten eines ganzheitlichen Konzeptes für die familiengerechte Hochschule“ die sozialwissenschaftlichen Erhebungen zu unterstützen.
Zielsetzung des Projekts ist die Analyse und Weiterentwicklung einer familienbewussten Personalpolitik der UdS. Dafür sollten in mehreren Teilstudien die aktuelle Situation an der Universität erhoben und anschließend die Ergebnisse in passfähigen Maßnahmen praktisch umgesetzt werden. Diese Teilstudien umfassen Erhebungen zum Kinderbetreuungsbedarf von Beschäftigten und Studierenden, zur Vereinbarkeitsproblematik von Männern/Vätern, zum Begriff familienfreundliche Hochschule bei allen Mitgliedern der Universität und eine Befragung der Führungskräfte zum Thema Familienfreundlichkeit, wobei sowohl quantitative als auch qualitative Methoden der empirischen Sozialforschung eingesetzt wurden. Das CEval unterstützte das AUDIT Familiengerechte Hochschule hierbei, indem es bei der Entwicklung der Erhebungsinstrumente und Durchführung insbesondere der standardisierten Befragungen mitwirkte.
Eine vollständige Publikation der Ergebnisse in thematisch aufbereiteter und interpretativer Form ist in Vorbereitung für das Jahr 2007.
Im Rahmen des Auftrages wurde ein wirkungsorientierten Monitoringsystem mit den Projektverantwortlichen aufgebaut. U.a. wurde das Monitoringsystem konzipiert (inklusive Indikatorenformulierung, Planung der Datenerhebung), Mitarbeiter geschult, Datenerhebungsinstrumente entwickelt, Daten erhoben und ausgewertet für Management entscheidungen. Zudem wurde ein Handbuch für die Projektmitarbeiter verfasst, das sich detailliert mit den einzelnen Schritten im wirkungsorientierten Monitoring befasst.
Zwischen Oktober 2005 und Januar 2006 (Feldphase 14. bis 29.11.2005) wird eine Ex-post Evaluierung der dritten Phase des GTZ-Vorhabens „Umweltmanagement für Stadtentwicklung in Thailand“ (1997-2000) durchgeführt. Inhaltlich geht es um die Untersuchung und Bewertung der Nachhaltigkeit von Projektwirkungen fünf Jahre nach Abschluss des Vorhabens. Ein besonderes Augenmerk wird auf den Projektbeitrag zur Erreichung der Millenium Development Goals gelegt. Daneben werden der Mehrebenenansatz, die Mehrdimensionalität und die Synergieeffekte bewertet. Methodisch handelt es sich um eine von vier Pilotstudien, mit denen das neue Ex-post Evaluierungsverfahren der GTZ getestet und kritisch hinterfragt werden soll.
In der Feldphase werden drei der fünf Projektstädte besucht (Kanchanaburi, Lamphun und Sri Racha). Sowohl auf nationaler Ebene als auch in den drei Städten sind jeweils etwa ein Dutzend Expertengespräche vorgesehen. In den Städten wird zudem versucht, die zu Beginn des GTZ-Projektes vorgenommenen Stadtbegehungen zu replizieren. Darüber hinaus ist ein Besuch aller noch existierender Demonstrationsvorhaben vorgesehen. Schließlich werden neben den bei der GTZ vorhandenen Projektmaterialien allgemeine und spezifische Informationsmaterialien zu landesweiten Veränderungen in den Bereichen Umwelt und Stadtplanung sowie zur lokalen Situation in den drei untersuchten Städten analysiert.
Im Auftrag der Internationalen Weiterbildungs- und Entwicklungs gGmbH (InWEnt) werden fünf Langzeit-Programme in den Bereichen der industriellen Biotechnologie, des industriellen Umweltschutzes sowie des Instandhaltungs- und Anlagenmanagements in sechs ASEAN-Staaten evaluiert.
Ziel der Evaluation ist es, Erkenntnisse über die Stärken und Schwächen (Inhalt, Aufbau, Organisation, Abwicklung etc.) der Trainingsprogramme unter Berücksichtigung der politisch-institutionellen Rahmenbedingungen zu gewinnen. Dementsprechend wird eine angemessene programmübergreifende Bewertung der Qualität und des Nutzens der Programme (Planung, Vorbereitung, Durchführung, Ergebnisse) und seiner Projekte / Maßnahmen vorgenommen. Die Zusammenfassung der verschiedenen Programmevaluationen erfolgt primär aufgrund der Gesamtzielstellung. Die Komplexität und thematische Vielfalt bieten neben den strukturellen und regionalen Gemeinsamkeiten die Basis zur Erlangung von verallgemeinerbaren Ergebnissen für den Aufbau, die Organisation und praktische Durchführung von komplexen Programmen / Projekten der Entwicklungszusammenarbeit (EZ). Die komparative Evaluation hinsichtlich Themenbezug, Programmstruktur oder Budget ähnlich gelagerter Programme weiterer EZ-Organisationen ist ebenfalls Zielstellung der Evaluation.
Die GTZ hat 2005 ihr bestehendes Evaluierungssystem mit der Einführung von Schluss- und Ex-post Evaluierungen vervollständigt. In diesem Zusammenhang wurden 2005 / 2006 Rahmenverträge mit verschiedenen Institutionen geschlossen, in dessen Rahmen die Evaluationen von ca. 34 Einzelvorhaben in verschiedenen Regionen und Themenbereichen durchgeführt wurden.
Die GTZ hat mit dem CEval einen Rahmenvertrag geschlossen, auf dessen Basis in 2005 im Rahmen einer ersten Pilotphase zwei Projekt ex-post evaluiert wurden:
In 2006 wurden im Kontext des Rahmenvertrages vom CEval die Evaluationen von 10 Einzelvorhaben in 9 Ländern koordiniert. Drei der Evaluationen wurden von CEval-MitarbeiterInnen durchgeführt. Die übrigen Evaluationen wurden unter der Leitung und Koordination von Frau Dr. Alexandra Caspari von ca. 20 GutachterInnen aus dem In- und Ausland umgesetzt.
Ex-Post Evaluation des GTZ- Forstvorhaben Schwarzer Fluss in Vietnam
Ex-Post Evaluation des GTZ-Vorhabens KV-Kommunale Waldbewirtschaftung Quirino auf den Philippinen
Evaluation des laufenden GTZ-Vorhabens in Asien NA: Regionales Forstvorhaben – South Pacific Community
Ex-Post Evaluation des GTZ-Vorhabens Modernisierung des Steuersystems in der Dominikanischen Republik
Schlussevaluation des GTZ-Vorhabens Dezentralisierung und Regionalplanung in der Dominikanischen Republik
Ex-Post Evaluation des GTZ-Vorhabens Modernisierung der Steuerverwaltung in Rumänien
Schlussevaluation des GTZ-Vorhabens Tropenwaldrelevantes Ressourcenschutzprogramm in Ruanda
Schlussevaluation des GTZ-Vorhabens Erhaltung des Schutzgebietes Osa in Costa Rica
Schlussevaluation des GTZ-Vorhabens Regionalentwicklung Lovetsch in Bulgarien
Evaluation des laufenden GTZ-Vorhabens
NAMARES Nachhaltiges Management natürlicher Ressourcen in Ecuador
Der EED bietet in Deutschland lebenden Fachkräften aus Afrika, Asien und Lateinamerika, die auf Dauer in ihr Herkunftsland zurückkehren möchten ein Reintegrationsprogramm an. Dafür bietet es Bewerbern, die in Kürze ihre Ausbildung oder ihr Studium in Deutschland abschließen und noch keine oder nur geringe Berufserfahrung von weniger als zwei Jahren erworben haben, Beihilfen, wenn sie eine entwicklungspolitische Tätigkeit in ihrem Heimatland aufnehmen. Zu den Leistungen des Programms gehören neben der eigentlichen Reintegrationsbeihilfe, eine Ausreisebeihilfe, die Erstattung der Reise- und Gepäcktransportkosten, die soziale Sicherung im Heimatland sowie ein Kaufkraftausgleich. Voraussetzung für eine Förderung ist, dass die Bewerber sich in Deutschland bereits mit entwicklungspolitischen Fragen auseinandergesetzt haben und dass bei einer überseeischen (Partner-) Organisation ein geeigneter Arbeitsplatz zur Verfügung steht.
Ziel der Evaluation ist eine Wirkungsanalyse, in der die Erfolge bei der Reintegration von Fachkräften und die entwicklungspolitischen Implikationen des Programms untersucht werden. Dabei wird einerseits der Frage nachgegangen, was das Reintegrationsprogramm in Bezug auf die soziale und berufliche Reintegration von Fachkräften in ihrem Herkunftsland leistet. Andererseits steht der Beitrag des Reintegrationsprogramms für die entwicklungspolitische Arbeit der Partnerorganisationen des EED im Vordergrund. Mit Hilfe quantitativer und qualitativer empirischer Methoden werden dazu Daten von Reintegranten sowie deren (ehemaligen) Arbeitgebern erhoben. Als Instrumente kommen neben standardisierten schriftlichen Befragungen leitfadengestützte Intensivinterviews, Fallstudien und sekundäranalytische Verfahren zum Einsatz. Die Studie ist weltweit ausgelegt, wobei der Fokus auf Afrika gerichtet wird.
Gegenstand der durchgeführten Evaluation waren drei Einzelmaßnahmen, die aus Mitteln des BMZ gefördert wurden. Zentrale Fragestellung der Evaluation war, inwieweit die drei Einzelmaßnahmen einen sinnvollen Beitrag zur entwicklungspolitischen Bildungsarbeit leisten und ob bzw. inwieweit sie sich in ihren Tätigkeiten oder in den anvisierten Zielgruppen überschneiden. Ziel der Evaluation war es, dem BMZ eine angemessene Grundlage zu bieten, um die Angebote und Dienstleistungen sowie die Zielgruppen der drei Einrichtungen adäquat einschätzen zu können.
Gemäß der Fragestellung und im Sinne der Methoden-Triangulation wurden verschiedene Formen der Datenerhebung genutzt: Eine Sektoranalyse sollte einen Überblick über die ‚Rahmenbedingungen’ der entwicklungspolitischen Bildungsarbeit in Deutschland sowie einen Überblick über weitere relevante Akteure im Bereich der entwicklungspolitischen Bildungsarbeit und deren Informations- und Dienstleistungsangebote geben, um die Angebote und Zielgruppen der drei untersuchten Einrichtungen einschätzen zu können. Im Rahmen von Vor-Ort Besuchen der drei Einrichtungen wurden mit verschiedenen Mitarbeitern Intensivinterviews geführt sowie sämtliche zur Verfügung gestellten Materialien gesichtet. Auf dieser Grundlage wurden im möglichen Rahmen Kosten-Nutzen-Berechnungen erstellt. Darüber hinaus wurden leitfadengestützte Telefoninterviews mit weiteren relevanten Personen geführt. Um insbesondere die Nutzung sowie die Qualität und den Nutzen der Angebote und Dienstleistungen der drei Einrichtungen untersuchen zu können, wurde eine Online- Befragung verschiedener Personengruppen durchgeführt.
Beratung des Berufsbildungsprogramms „Verbesserung von Leistungsfähigkeit und Nachfrageorientierung der Aus- und Fortbildungsstätten des vietnamesischen Berufsbildungssystems“ in Hanoi/Vietnam bei der Entwicklung eines Monitoringsystems und der Planung und Durchführung einer Tracer-Study und Betriebsbefragung.
Das Stipendienprogramm des EED hat die Aufgabe, kirchliche Partner und entwicklungsorientierte Nichtregierungsorganisationen in Entwicklungsländern bei der Fortbildung und Qualifizierung ihres Personals zu unterstützen. Hierfür werden Stipendien für ein entwicklungsbezogenes Postgraduiertenstudium in Deutschland, europäischen Ausland oder Entwicklungsländern an berufserfahrene Hochschul-/ Fachhochschulabsolventen aus Entwicklungsländern vergeben. Ferner werden die Stipendiaten bei der studienbedingten Integration und Orientierung mittels studienergänzender Seminarangebote begleitet. Neben der akademischen Qualifikation beziehen sich die Förderkriterien u.a. auf die Bedeutung des Studienvorhabens für die nachhaltige Entwicklung sowie den Auf- bzw. Ausbau von Bildungsstätten im Heimatland, Fragestellungen des konziliaren Prozesses für Frieden Gerechtigkeit und Bewahrung der Schöpfung etc.
Seit Oktober 2003 ist das ehemalige Stipendienprogramm des Ökumenischen Studienwerks (ÖSW) Teil des EED in Bonn. Im Rahmen dieser Integration soll die Förderung berufserfahrener Nachwuchskräfte aus Entwicklungsländern enger mit den internationalen Programmen, der Personalvermittlung und dem Inlandsprogramm des EED verbunden werden.
Ziel der Evaluation ist die Untersuchung der Entwicklungsrelevanz des Stipendienprogramms des EED. Der Schwerpunkt der Evaluation liegt dabei auf den (beruflichen) Tätigkeiten der Stipendiaten nach Beendigung ihrer Ausbildung, ihrer Funktion als Multiplikatoren, und auf Ihrem „Wirken“, (insbesondere auch in Bezug auf Organisationsentwicklung und Zuwachs an Know-how in den Institutionen aus denen die Stipendiat(inn)en vermittelt werden). Der geographische Fokus der qualitativen Fallstudien liegt auf Lateinamerika (Brasilien) und Ostafrika (Tansania/ Kenia), während die quantitative Befragung der ehemaligen Stipendiaten weltweit erfolgt.
Gegenstand der Evaluation war ein GTZ-Projekt zur Slumsanierung in Nagpur, Indien, das einen wichtigen Beitrag zur Verbesserung der Lebensbedingungen in den Slums und informellen Siedlungen Nagpurs leisten sollte. Der deutsche Beitrag war darauf ausgerichtet, die Stadt Nagpur darin zu unterstützten, eine eigenständige und nachhaltige Sanierungspolitik unter Beteiligung von Bewohnerorganisationen in den unterversorgten Siedlungen zu betreiben. Eines der wesentlichen Elemente der Zusammenarbeit sollte dabei die Bündelung lokaler Initiativen und bestehender nationaler oder regionaler Förderungsprogramme bewirken.
Hintergrund der Evaluation war die Einführung von Schluss- und Ex-Post Evaluationen bei der GTZ. Im Rahmen eines Pilotversuches werden zunächst 8 Evaluationen von Projekten zum Jahresthema der GTZ „Die Stadt von morgen“ durchgeführt.
Das hier evaluierte Projekt gehörte zu dieser Stichprobe. Die Evaluation sollte in erster Linie der Rechenschaftslegung dienen, darüber hinaus sollten die Erkenntnisse in das Wissensmanagement der GTZ einfließen und für die Weiterentwicklung von Konzepten und die Gestaltung künftiger Vorhaben genutzt werden.
Zentrale Fragestellung und Ziel der Evaluation war entsprechend fundierte Aussagen zum Erfolg des Projektes zu liefern, der auf der Grundlage vorgegebener Evaluationskriterien beschrieben und bewertet wurde. Diese waren die mit dem Vorhaben erreichten Wirkungen, die Effizienz der Mittelverwendung, die entwicklungspolitische Relevanz und Signifikanz, die Kohärenz sowie die Nachhaltigkeit der Wirkungen (in Anlehnung an OECD/DAC).
Ferner sollten die Evaluierungen bzgl. des ausgewählten entwicklungspolitischen Themas „Die Stadt von morgen“ Auskunft über weitere zusätzliche Fragen geben, die für die weitere Konzept- und Sektorentwicklung von Relevanz sind und auch eine vergleichende und übergreifende Aussage zu allen Evaluierungen ermöglichen sollen:
Welchen Beitrag leistete das Vorhaben zur Erzielung von Wirkungen auf der Ebene der MDGs, insbesondere MDG 7, Teilziel 11?
Welche Auswirkungen hatte der Mehrebenenansatz (Stadtteilebene, Gesamtstadtebene, übergeordnete Ebenen) und die Mehrdimensionalität des Vorhabens (technisch, sozial, räumlich, ökonomisch, ökologisch) auf die Nachhaltigkeit der Wirkungen des Vorhabens?
Inwieweit gab es Synergieeffekte durch die Kombination von TZ und Finanzierung durch Dritte, welche Bedingungen waren hierfür ausschlaggebend?
Ein dritter Bearbeitungspunkt betraf das Konzept der Ex-post Evaluation, die Methodik und das Raster für die Erfolgsbewertung, was auf der Grundlage der Erfahrungen konstruktiv-kritisch bewertet werden sollte.
EASY-ECO 2005-2007 war eine Serie von sieben Veranstaltungen (drei Konferenzen und vier Trainingskurse), die bis Ende 2007 in Deutschland, Großbritannien, Österreich, Polen, Rumänien, der Slowakei und in Ungarn stattfand.
Thema der Veranstaltungsreihe war die Evaluation nachhaltiger Entwicklung. Dabei lag der Schwerpunkt unter anderem auf dem Austausch von praktischen
Erfahrungen und neuen wissenschaftlichen Erkenntnissen sowie der
Qualifizierung von Nachwuchswissenschaftlern und Nachwuchswissenschaftlerinnen insbesondere in den neuen Mitgliedsstaaten der Europäischen Union.
Zu den Veranstaltungen wurden mehr als 600 Personen aus Wissenschaft, Politik und Praxis als Teilnehmer erwartet. Das CEval organisierte dabei vom 11.10.-14.10.2006 eine Konferenz im Saarland. Diese war zugleich die einzige Veranstaltung zu EASY-ECO 2005-2007 in Deutschland. Die Veranstaltungsreihe EASY ECO 2005-2007 wurde gefördert durch die "Marie Curie Conferences and Training Courses" innerhalb des Sechsten Rahmenprogramms der Europäischen Union. Aufgrund der dadurch vorhandenen
Fördermittel konnten NachwuchswissenschaftlerInnen die Übernahme sämtlicher Kosten für die Teilnahme an bis zu zwei Konferenzen und einem Trainingskurs beantragen.
Ausführliche Informationen über das Projekt EASY-ECO 2005-2007 und seine Ziele, die beteiligten Institutionen sowie Ihre Teilnahmemöglichkeiten finden Sie auf www.ceval.de/easyeco.
Das Centrum für Evaluation (CEval) wurde von der Landesarbeitsgemeinschaft für Gesundheitsförderung Saarland e.V. (LAGS) beauftragt, die bereits zuvor erhobenen Fragebögen auszuwerten und die Ergebnisse für eine kartografische Darstellung in geeigneter Form aufzubereiten. Ziel der Erhebung war es, einen Ist-Zustand der vorhandenen Leistungsangebote zu ermitteln sowie mögliche Kooperationen zwischen den französischen und saarländischen Einrichtungen und die Mobilität der Patientinnen und Patienten darzustellen. Vor dem Hintergrund der Schaffung grenzüberschreitender Zugangsmöglichkeiten zur Gesundheitsversorgung dienen die gewonnenen Informationen als Grundlage für eine Vergleichsstudie zur effizienteren Nutzung der dazu vorhandenen infrastrukturellen Ressourcen. Gleichsam soll auf diese Weise ein Beitrag zur Förderung der regionalen grenzüberschreitenden Gesundheitspolitik geleistet werden.
In Zukunft soll das Hochschulmarketing des DAAD einen Schwerpunkt bei indischen Studierenden der Ingenieur-, Natur- und Wirtschaftswissenschaften setzen, da bei diesen Gruppen Nachwuchsmangel bereits besteht oder zu erwarten ist und von ihnen ein positiver Beitrag zur Forschung an deutschen Hochschulen erhofft wird.Die Fokussierung auf Indien für diese Studie hat zwei wesentliche Hauptgründe: Zum einen ist Indien bereits seit längerem eines der Haupt-Zielländer der Marketing-Kampagnen von GATE-Germany. Die Zahl angeworbener Studierender könnte (und soll) aber noch ausgebaut werden. Dies gilt insbesondere im Vergleich zur Mobilität indischer Studierender in Richtung USA und Großbritannien. Zum anderen soll das Profil der potenziellen Bewerber stärker dem oben bereits angedeuteten Bedarf der deutschen Hochschulen an hoch qualifizierten Kräften aus den Ingenieur-, Natur- und Wirtschaftswissenschaften entsprechen. Das Oberziel der Studie ist, Empfehlungen für die Neuausrichtung der Marketing-Strategie für die kommenden Jahre auf der Basis der bisherigen Erfahrungen und der aktuellen Entwicklungen auf dem Bildungsmarkt zu erstellen. Unter Anderem sollen zu den folgenden Fragestellungen weitere Auskünfte geben werden:
• Inwieweit haben die bisherigen Marketingmaßnahmen die gewünschten Zielgruppen erreicht?
• Soll an indischen Hochschulen geworben werden?
• Wenn an indischen Hochschulen geworben werden soll, dann mit welchen Mitteln?
• In welchen Zielgruppen existiert das Bewusstsein für die Möglichkeit eines Aufenthalts in Deutschland?
• Wie kann dieses Bewusstsein verstärkt werden?
• Welche neuen Zielgruppen sollten erschlossen werden?
• Über welche Informationswege, -mittel und Kommunikationsstrategien können die Zielgruppen wirksam erreicht werden?
• Über welche zentralen Botschaften und Kernaussagen kann das Interesse indischer Studierender effektiv geweckt und deren Entscheidung in wirksamer Weise beeinflusst werden?
Das CEval führte im Auftrag der beim DAAD angesiedelten Initiative „GATE-Germany - Konsortium für internationales Hochschulmarketing“ eine Studie zur ‚Gewinnung US-amerikanischer Studierender für deutsche Hochschulen‘ durch. Hintergrund sind zwei identifizierte Problemfelder: Zum einen stagnieren die Zahlen der US-Amerikaner, die zu einem Studienaufenthalt nach Deutschland kommen in den letzten Jahren nicht nur, sondern sind im Vergleich zu anderen europäischen Ländern (wie Italien oder Frankreich) sogar rückläufig. Zum anderen kommen die meisten amerikanischen Studierenden nur zu sehr kurzen Studienaufenthalten nach Deutschland, so dass eine nachhaltige Wirkung des Aufenthalts fraglich ist.
Ziel der Studie war es, Erkenntnisse über die Mobilität der US-amerikanischen Studierenden zu liefern. Auf dieser Grundlage soll GATE-Germany die Marketing-Strategie für die USA weiter entwickeln, um den oben beschriebenen negativen Trend rückläufiger Studierendenzahlen insbesondere in den Ingenieur-, Natur- und Wirtschaftswissenschaften aufzuhalten und umzukehren und den Anteil an US-amerikanischen Studierenden, die an deutschen Hochschulen einen Abschluss anstreben oder promovieren, zu erhöhen. Die konzeptionelle Entwicklung der Studie und die Zusammenfassung der Ergebnisse in einer Handlungsempfehlung erfolgten in enger Abstimmung mit GATE-Germany.
Im Vordergrund der Studie standen die folgenden zentralen Fragestellungen:
• Welche Faktoren bestimmen maßgeblich die Entscheidung für ein Studium im Ausland allgemein und in Deutschland im Besonderen?
• Über welche Informationswege, -mittel und Kommunikationsstrategien kann in wirksamer Weise auf die o.g. Faktoren Einfluss genommen werden, die die Entscheidung der Zielgruppe zu einem Auslandsstudium determinieren?
• Mit welchen Studienangeboten könnten die Zielgruppen in den USA für ein Studium in Deutschland gewonnen werden?
Als Ergebnis der Untersuchung wurde ein Maßnahmenkatalog mit konkreten Handlungsempfehlungen für die Akteure des internationalen Hochschulmarketings zur Gewinnung US-amerikanischer Studierender erstellt.
Um ein umfangreiches Bild über die Mobilität der US- Studierenden zu erhalten, wurde für die Operationalisierung des Studienauftrags ein Multimethodenansatz gewählt, der eine angemessene Einbeziehung möglichst vieler Akteure des internationalen Stiudierendenaustauschs sicherstellt. Standardisierte Befragungen wurden mit US- Studierenden in Deutschland durchgeführt. VertreterInnen von Study Abroad Offices in den USA wurden mittels teilstandardisierten Befragung um ihre Einschätzungen bzgl. Deutschland und seiner Universitäten als Partnerland ihrer Institution gebeten. Leitfadengestüzte Interviews wurden mit 10 VertreterInnen Akademischer Auslandsämter, die für den Austausch mit den USA zuständig sind, durchgeführt. Die Ausarbeitungen der Fragebögen als auch des Leitfadens für die Befragung der VertreterInnen deutscher Akademischer Auslandsämter erfolgten gemäß des partizipativen Ansatzes des CEval in enger Abstimmung mit dem Auftraggeber GATE- Germany. Der abschließende Ergebnisbericht wurde im Mai 2005 vorgelegt.
„Durch den Multimethodenansatz ist es gelungen, aus dem zwar begrenzten aber vielfältigen Datenfundus ein aussagekräftiges Bild zu entwickeln und wichtige Erkenntnisse und Empfehlungen zur Gewinnung US-amerikanischer Studierender für deutsche Hochschulen abzuleiten.“ (DAAD)
Das Forschungsprojekt soll die Qualität des gesellschaftspolitischen Weiterbildungsprogramms des Bildungszentrums Kirkel der Arbeitskammer des Saarlands bilanzieren und die Basis für einen fortlaufenden Qualitätsentwicklungsprozess legen. In der ersten, konzeptionellen Phase des Projekts wird zusammen mit den Dozentinnen und Dozenten sowie Mitgliedern der Führungsebene und der verantwortlichen Gremien ein Kriterienkatalog entwickelt, der verschiedene Dimensionen der Qualität gesellschaftspolitischer Weiterbildung beschreiben soll (Ziele, angestrebte Wirkungen, Charakter und Ausgestaltung der Seminare, etc.). In der anvisierten zweiten, operativen Phase (01/04 – 01/05) sollen die Messinstrumente für Dozenten- und Teilnehmerbefragungen entwickelt, eingesetzt, die Daten ausgewertet und ein Verfahren erarbeitet werden, das es dem Bildungszentrum ermöglicht, die Messungen nach dem Projekt-Ende selbstständig und dauerhaft fortführen zu können. Insgesamt verfolgt das Projekt Ziele in vier Bereichen an:
Bestimmung der Qualitätskriterien und –ziele, die bei der Evaluation von allgemeinen und gesellschaftspolitischen Weiterbildungsveranstaltungen beachtet und bewertet werden sollen (Kriterienentwicklung zur Qualitätsbewertung).
Umfassende Bestandsaufnahme der Qualität des Veranstaltungsprogramms des Bildungszentrums Kirkel im Bereich der gesellschaftspolitischen Weiterbildung (Beschreibung des Ist-Zustandes).
Bestimmung des Mehrwerts an Qualität, der durch die Integration von E-Learning-Modulen in einzelnen Veranstaltungen (bzw. einzelnen Segmenten dieser Veranstaltungen) erreicht werden könnte (Definition von Zielfeldern).
Regelmäßige Qualitätsmessung zur kontinuierlichen Weiterentwicklung des Veranstaltungsprogramms (Dauerbeobachtung von Wirkungen)
Die „Initiativstelle Berufliche Qualifizierung von Migrantinnen und Migranten“ (IBQM) im Bundesinstitut für Berufsbildung (BIBB) ist ein Projekt, das mit Mitteln des BMBF im Rahmen des BQF-Programms (Berufliche Qualifizierung für Zielgruppen mit besonderem Förderbedarf) gefördert wird. IBQM berät und begleitet in Kooperation mit dem Projektträger Antragsteller, die im Rahmen des BQF-Programms innovative Modellprojekte initiieren. Diese Projekte sollen dazu beitragen, Angebote der Benachteiligtenförderung für die sehr heterogene Zielgruppe der Jugendlichen mit Migrationshintergrund weiterzuentwickeln. Ein Schwerpunkt ist dabei das Bemühen um die Berücksichtigung der interkulturellen Dimension der Kompetenzfeststellung und –entwicklung bei der Zielgruppe im Handlungsfeld der betrieblichen und schulischen Berufsbildung.
Die Hauptaufgabe der IBQM zur Verbesserung der Rahmenbedingungen für die berufliche Qualifizierung von Migrantinnen und Migranten besteht in der Initiierung, Beratung und wissenschaftlichen Begleitung von lokalen und regionalen Kooperationsnetzwerken für die berufliche Qualifizierung von Migrantinnen und Migranten (BQN).
Das CEval berät IBQM bei der Entwicklung und Umsetzung der prozessbegleitenden Evaluation der BQN. Darunter fallen im wesentlichen folgende Aufgaben: Unterstützung bei der Fertigstellung des BQN-Evaluationskonzeptes von IBQM, Input bei den Treffen des BQN-Evaluationsarbeitskreises, Unterstützung bei der Erarbeitung der Kriterienkataloge, Präsentationsformate und Indikatoren für die Umsetzung der mit den lokalen Evaluationsbeauftragten der BQN vereinbarten Etappen der prozessbegleitenden Evaluation, fachliche Beratung bei der Umsetzung der einzelnen Etappen (lokale Anwendung der Kriterien, Aussagekraft der Dokumentation und Plausibilität der Umsetzung).
Das Forschungsprojekt soll die Qualität des gesellschaftspolitischen Weiterbildungsprogramms des Bildungszentrums Kirkel der Arbeitskammer des Saarlands bilanzieren und die Basis für einen fortlaufenden Qualitätsentwicklungsprozess legen. In der ersten, konzeptionellen Phase des Projekts wird zusammen mit den Dozentinnen und Dozenten sowie Mitgliedern der Führungsebene und der verantwortlichen Gremien ein Kriterienkatalog entwickelt, der verschiedene Dimensionen der Qualität gesellschaftspolitischer Weiterbildung beschreiben soll (Ziele, angestrebte Wirkungen, Charakter und Ausgestaltung der Seminare, etc.). In der anvisierten zweiten, operativen Phase (01/04 – 01/05) sollen die Messinstrumente für Dozenten- und Teilnehmerbefragungen entwickelt, eingesetzt, die Daten ausgewertet und ein Verfahren erarbeitet werden, das es dem Bildungszentrum ermöglicht, die Messungen nach dem Projekt-Ende selbstständig und dauerhaft fortführen zu können. Insgesamt verfolgt das Projekt Ziele in vier Bereichen an:
Bestimmung der Qualitätskriterien und –ziele, die bei der Evaluation von allgemeinen und gesellschaftspolitischen Weiterbildungsveranstaltungen beachtet und bewertet werden sollen (Kriterienentwicklung zur Qualitätsbewertung).
Umfassende Bestandsaufnahme der Qualität des Veranstaltungsprogramms des Bildungszentrums Kirkel im Bereich der gesellschaftspolitischen Weiterbildung (Beschreibung des Ist-Zustandes).
Bestimmung des Mehrwerts an Qualität, der durch die Integration von E-Learning-Modulen in einzelnen Veranstaltungen (bzw. einzelnen Segmenten dieser Veranstaltungen) erreicht werden könnte (Definition von Zielfeldern).
Regelmäßige Qualitätsmessung zur kontinuierlichen Weiterentwicklung des Veranstaltungsprogramms (Dauerbeobachtung von Wirkungen)
Die „Aktion Wasserzeichen“ ist ein Programm des Ministeriums für Umwelt, mit dem die saarländischen Gemeinden bei ihren Bemühungen, nicht verunreinigtes Niederschlagswasser von reinigungsbedürftigem Abwasser zu trennen, finanziell unterstützt werden. Seit in Kraft treten der Aktion Wasserzeichen im Jahre 1996 wurden ca. 400 Projekte mit insgesamt rund 65 Mio. € bezuschusst. Im Rahmen dieser Evaluation wird systematisch untersucht, wie das Projekt bei den Beteiligten vor Ort angenommen wird und wo Probleme auftreten. Die Ergebnisse der Evaluation sollen für eine Neukonzeption der Aktion Wasserzeichen genutzt werden.
Das Saarland gehört zu den ausgewählten Modellregionen des im September 2001 vom Bundesministerium für Verbraucherschutz, Ernährung und Landwirtschaft (BMVEL) ausgeschriebenen Wettbewerbs „REGIONEN AKTIV“, der den Gedanken der Agrarwende in den Regionen und in der Bevölkerung stärker verankern soll. In diesem Kontext wurden bisher mehr als 20 unterschiedliche Teilprojekte in unterschiedlichen Bereichen von der saarländischen Regionalpartnerschaft initiiert. Zur Steuerung dieser regionalen Aktivitäten wurde im Mai 2002 der Verein „Vis à Vis – Stadt und Land – Nachbarn mit Zukunft“ gegründet, dem gegenwärtig 36 institutionelle Mitglieder aus den Bereichen Landwirtschaft, Forst, Umwelt und Naturschutz, Handwerk, Verbraucherschutz sowie der öffentlichen Verwaltung angehören. Grundlage der Vereinsaktivitäten bildet ein regionales Entwicklungskonzept (REK), in dem die wesentlichen Ziele und Maßnahmenstrategien der Partnerschaft verankert sind.
Im Rahmen einer Halbzeitbewertung des Gesamtprogramms „REGIONEN AKTIV“ beauftragte der Verein „Vis à Vis“ das CEval mit einer externen Evaluation auf den Ebenen der regionalen Partnerschaft bzw. des REKs sowie des Regionalmanagements. Verbunden hiermit sind drei wesentliche Aufgabenstellungen:
Bilanzierung der bisherigen Aktivitäten des Regionalmanagements und der regionalen Partnerschaft, d.h. eine Bewertung des Prozesses (Planung, Durchführung und Steuerung) sowie eine Bewertung der bisher erreichten Ergebnisse (Wirkungen),
Erstellung von Empfehlungen für die Weiterentwicklung des Regionalmanagements und der regionalen Partnerschaft in der zweiten Hälfte der Laufzeit des Wettbewerbs,
Beratungsleistungen bei der Evaluierung der geförderten Teilprojekte.
Die methodische Vorgehensweise zur Beantwortung der ersten zentralen Aufgabenstellung orientiert sich an einem auf dem Evaluationskonzept des CEval basierenden Analyseleitfaden. Bewertungsgrundlage stellen hierbei die systematischen Auswertungen vorliegender schriftlicher Dokumentationen, die während der Teilnahme an zentralen Sitzungen der Partnerschaft gewonnenen Eindrücke sowie – im Sinne einer partizipativen Vorgehensweise – die Einschätzungen möglichst vieler Beteiligter der Partnerschaft dar (Leitfadeninterviews und standardisierte Befragung).
Basierend auf den so gesammmelten Befunden erfolgt eine Ableitung von Empfehlungen für eine Weiterentwicklung der Organisations- und Steuerungsstrukturen der Partnerschaft. Ein abschließender Ergebnisbericht wurde im Januar 2004 eingereicht.
Im Auftrag des BMBF (Bundesministerium für Bildung und Forschung) arbeitet das Bundesinstitut für Berufsbildung (BIBB) am Aufbau eines Kommunikations- und Informationssystems für Berufliche Bildung (KIBB). Mit dem Projekt KIBB werden im Wesentlichen drei Ziele verfolgt, die im Rahmen bestehender Informations- und Kommunikationsstrukturen bisher nur unzureichend erfüllt werden konnten:
1. Die Hervorhebung der Bedeutung der Berufsbildungsforschung als wichtiger gesellschaftlicher Entwicklungsbereich;
2. der Aufbau eines professionellen Wissensmanagements in der Berufsbildung;
3. die stärkere Vernetzung von Berufsbildungsexperten und –expertinnen.
KIBB nutzt bei der Verfolgung dieser Ziele in vielfältiger Weise die erweiterten Möglichkeiten, die im Zusammenhang mit Information und Kommunikation durch die Neuen Medien entstanden sind: Neben der Einrichtung einer online-gestützen Kommunikationsplattform ist u. a. der Aufbau einer internetbasierten Wissenslandkarte vorgesehen, die Informationen zur Berufsbildungsforschung zur selbständigen Recherche und Beantwortung von Fragen bereitstellt.
Die vom BIBB in Auftrag gegebene Evaluation des KIBB ist prozessbegleitend vorgesehen, so dass also bei dieser Evaluation insbesondere formative und projektbezogene Aspekte im Vordergrund stehen.
Die methodische Konzeption der Evaluation basiert auf einem Analyse-Leitfaden, der in seiner Struktur auf der theoretischen Evaluationskonzeption des CEval beruht und zu Beginn des Evaluationsvorhabens in enger Zusammenarbeit mit den Projektbeteiligten an die spezifischen Erfordernisse des Evaluationsvorhabens angepasst wurde. Während die Zielsetzungen und zu messenden Indikatoren von KIBB einen selbstverständlichen Bestandteil des Leitfadens bilden, enthält dieser darüber hinaus eine Reihe organisations- und diffusionstheoretisch begründeter Faktoren, die nach dem derzeitigen Stand der Forschung grundsätzliche Voraussetzungen für den Erfolg von Programmen und Projekten darstellen.
Die Messung der Indikatoren im Analyse-Leitfaden erfolgt im Sinne eines Panels zu drei Erhebungszeitpunkten die sich über die gesamte Projektlaufzeit erstrecken. Die fortlaufende Anpassung und Weiterentwicklung des Erhebungs- und Untersuchungsdesigns wird dabei als integrierter Bestandteil des Vorgehens betrachtet. Gemäß des formativen Charakters der Evaluation werden die Ergebnisse der jeweiligen Erhebungen handlungsorientiert aufbereitet und dienen als Diskussionsgrundlage für jeweils einen Workshop unter Beteiligung der KIBB-Mitarbeiter. Die Dokumentation sowohl der Erhebungs- als auch der Diskussionsergebnisse der Workshops sind Bestandteile der Zwischenberichte.
Neben leitfadengestützten Interviews mit Projektmitarbeitern, weiteren Projektbeteiligten sowie Kunden des KIBB (z. B. Mitarbeiter des BMBF) sollen mit dem weiteren Verlauf des Projekts in der Evaluation standardisierte Nutzerbefragungen bei den Nutzern der internetbasierten Produkte von KIBB sowie Gruppendiskussionen zum Einsatz kommen. Daneben erfolgt eine kontinuierliche Dokumentenanalyse.
Im Rahmen des Leonhard-Euler-Stipendienprogramms des DAAD werden deutschen Hochschulen, die eine gut funktionierende Partnerschaft mit einer russischen, ukrainischen oder belorussischen Hochschule insbesondere auf den Gebieten der Natur- und Ingenieurwissenschaften unterhalten, Mittel für Sur-Place-Stipendien für russische, ukrainische oder belorussische Nachwuchswissenschaftler zur Verfügung gestellt. Diese Fördermaßnahme zielt darauf ab, den Kontakt zwischen ausländischen Nachwuchswissenschaftlern und deutschen Hochschulen zu intensivieren, gemeinsame bilaterale Forschungsvorhaben nachhaltig zu fördern sowie einen Beitrag zur Qualifizierung des wissenschaftlichen Nachwuchses aus der Russischen Förderation, der Ukraine und Belarus zu leisten, um damit u. a. zum Verbleib des wissenschaftlichen Nachwuchses an den Hochschulen des betreffenden Landes beizutragen. In der vom DAAD in Auftrag gegebenen Evaluationsstudie sollte anhand 60 ausgewählter Projekte zum einen die Frage beantwortet werden, inwieweit das Förderprogramm seine Ziele erreicht und zum anderen sollten aus den Ergebnissen der Studie Empfehlungen für die Programmfortführung abgeleitet werden. Bei der Operationalisierung des Evaluationsauftrags kam insbesondere der Multimethodenansatz der CEval-Evaluationskonzeption zum Tragen: Neben der standardisierten Befragung der deutschen Projektleiter sowie der in den Projekten geförderten Stipendiaten wurden bei diesen Befragtengruppen und darüber hinaus bei Mitarbeitern der Verwaltung ausgewählter Hochschulen leitfadengestützte Interviews eingesetzt. Daneben wurden stichprobenhaft Projektbesuche durchgeführt. Die Erarbeitung der Erhebnungsinstrumente sowie die Interpretation der Ergebnisse wurde unterstützt durch eine sekundäranalytische Auswertung der Abschlussberichte der untersuchten Projekte sowie weiterer Informationsmaterialien des DAAD. Im Anschluss an die Erhebungsphase erfolgte eine systematische Analyse sowie die Zusammenführung der unterschiedlichen Daten. Die Ergebnisse der Studie verweisen auf einen insgesamt hohen Zielerreichungsgrad des Leonhard-Euler-Programms. Es wurde deutlich, dass das Programm aus Sicht der deutschen Projektbeauftragten, der geförderten Stipendiaten sowie der Mitarbeiter der Verwaltung ausgewählter Hochschulen in seiner Förderstruktur auf die Probleme der Hochschulen der ehemaligen Sowjetunion reagiert und zu deren Lösung spezifische Beiträge leistet. Die vom CEval ausgesprochenen Empfehlungen betreffen u. a. den Deutschlandaufenthalt sowie die Stipendienraten.
Die vom DAAD in Auftrag gegebene Evaluationsstudie über deutsch-japanische Hochschulpartnerschaften verfolgte zum einen das Ziel, anhand der Informationen über aktuell bestehende Partnerschaften zwischen deutschen und japanischen Hochschulen die Förderprogramme des DAAD in diesem Bereich besser an den Bedarf der Partnerschaften anpassen zu können. Zum anderen lieferten die gewonnenen Informationen auch Hinweise dazu, wie im Allgemeinen eine Intensivierung der Hochschulkooperationen zwischen Deutschland und Japan erreicht werden kann. Eine standardisierte Befragung der deutschen Partnerschaftsbeauftragten beantwortete u. a. Fragen nach der Aktivität der Partnerschaften, nach Problemen und Hindernissen im Rahmen der Partnerschaften und nach Erwartungen hinsichtlich zukünftiger Entwicklungen. Aus den gewonnenen Ergebnissen wurden schließlich Indikatoren abgeleitet, die eine Einstufung bestehender und zukünftiger deutsch-japanischer Hochschulpartnerschaften hinsichtlich ihrer partnerschaftlichen Aktivit
Die Evaluation dieses Projekts soll im Anfang primär begleitend und projektunterstützend (formativ) sein, während mit zunehmender Reife der Entwicklungspartnerschaft eine Bewertung gemäß der EQUAL-Ziele erfolgen wird. EQUAL verfolgt generell einen Abbau von Benachteiligungen am Arbeitsmarkt, um die Anpassungsfähigkeit, Beschäftigungsfähigkeit und den Unternehmergeist von traditionell benachteiligten Gruppen (Migranten, Frauen, Behinderte, etc.) zu stärken. Die Partnerschaft MENTOR, ein Netzwerk verschiedener regionaler Akteure des Saarlandes, setzt diese Ziele primär im Rahmen von Schulungen unter Anwendung neuer Informations- und Kommunikationstechnologien um.
In ihrer Funktion als Europäische Referenzinstitution für die Entwicklung der beruflichen und betrieblichen Bildung veröffentlicht die CEDEFOP regelmäßig Berichte zum Stand der Berufsbildungsforschung in Europa. Das übergreifende Thema des kommenden Berichts „Evaluations- und Wirkungsforschung“ wird von unterschiedlichen Perspektiven und auf der Grundlage verschiedener Theorieansätze beleuchtet. Der Beitrag des CEval nähert sich dem Thema aus einer Mikro-Perspektive, indem Ergebnisse der Lebensverlaufs- und Biographieforschung auf ihren Gehalt für diese Fragestellung abgeklopft werden. Gegenstand des Projekts ist daher eine ausführliche Literaturstudie, in der versucht wird, sämtliche für die Evaluation der Berufsbildung relevanten Ergebnisse aus der LV/B-Forschung in Europa systematisch auszuwerten und darzustellen.
Diese Exklusivstudie beinhaltet sowohl die Recherche als auch Analyse und zusammenfassende Darstellung der relevanten Fakten zum Themenkomplex „social audits“. Dabei liegt der Fokus insbesondere auf der Erstellung einer Übersicht der wichtigsten Standards, Zertifizierungsmöglichkeiten, Audits, usw. zur sozialen Verantwortung von Unternehmen.
Insofern konzentriert sich die Studie, neben der Sichtung übergreifender Standards wie z.B. der Menschenrechte, der Kernarbeitsnormen der „Internationalen Arbeitsorganisation“ (IAO), auch auf die Analyse und Aufstellung relevanter Zertifizierungsinstitutionen und -organisationen auf nationaler und internationaler Ebene.
Die Studie analysiert und bewertet die im Rahmen von European Employment Services-Transfrontalier Saar-Lor-Lux-Rheinland-Pfalz (EURES-T SLLR) geförderten Projekte sowie die Tätigkeitsberichte der EURES-Koordination. Ferner wurden Empfehlungen zur Verbesserung und Systematisierung der Berichterstattung erarbeitet und ein M+E-System zur Qualitätssicherung der Projektarbeit entwickelt.
Die Deutsche Bundesstiftung Umwelt (DBU) fördert seit 1991 Projekte der Umweltkommunikation im Handwerk und hat das CEval mit einer umfassenden Evaluierung ihrer Förderaktivitäten beauftragt. Im Rahmen des Evaluationsvorhabens sind Aktivitäten und Strukturen der Umweltkommunikation im Handwerk zu dokumentieren, die nachhaltigen Wirkungen der DBU-Förderung zu erfassen sowie Empfehlungen für die Optimierung der weiteren Fördertätigkeit zu entwickeln. Das im Juni 2002 begonnene Vorhaben hat eine voraussichtliche Laufzeit bis Dezember 2005.
Von der EU-Kommission wurde 1998 ein Förderprogramm zur Begleitung des Beitrittsprozesses von 12 ost- und südeuropäischen Ländern aufgelegt. Zentrales Ziel dieses "Twinning-Programms" ist es, diese Länder bei dem Aufbau einer modernen, effektiven Verwaltung zu unterstützen, die in der Lage ist, den gemeinschaftlichen Besitzstand gemäß den Standards umzusetzen, welche in den gegenwärtigen Mitgliedsstaaten gelten. In einer ersten Phase der Evaluation sollen drei bereits abgeschlossene Twinning-Projekte (mit Bulgarien, Rumänien und der Slowakischen Republik) im Bereich "Abfallwirtschaft" hinsichtlich ihrer Wirksamkeit überprüft werden.
Development and implementation of a monitoring and evaluation system for the Mubarak-Kohl-Initiative for the introduction of dual vocational training in Egypt.
Die konzeptionelle Reformulierung der Berufsbildungshilfe Anfang der 90er Jahre sowie die Neukonzipierung der Entwicklungszusammenarbeit (EZ) nach dem Regierungswechsel erfordern Anpassungen der ZGB-Programmarbeit. Anhand von drei ausgewählten Schwerpunktländern der deutschen EZ (Ägypten, Indien, Uganda) wurden daher in einem Gutachten Aussagen zur zukünftigen Rolle sowie zu den Beiträgen der DSE-ZGB im Rahmen einer neugeordneten EZ im Bereich der beruflich-technischen Bildung erarbeitet.
Im Mittelpunkt der Evaluation steht die Analyse des anvisierten Mehrwerts (Distanz, Multimedialität, Interaktivität) der internetbasierten Lehr-Lern-Module gegenüber traditionellen Unterrichtssituationen. Darüber hinaus werden auch die Projektziele der Implementation der Lehr-Lern-Module in das sportwissenschaftliche Grundstudium sowie die Diffusion über die beteiligten Universitäten hinaus geprüft. Ergänzt wird die Wirkungsanalyse durch kausalanalytische Betrachtungen, die den festgestellten Projektwirkungen kausale Ursachenfaktoren zuschreiben. Hierfür ist eine Begleitung aller Projektphasen, von der Planung, über die Implementation bis zur Nachförderphase, erforderlich.
Das Kürzel TRANSFORM steht für die Förderung der Berufsbildung in Mittel- und Osteuropa und wurde 1993 von der deutschen Bundesregierung als Beratungsprogramm initiiert. Die insgesamt über 100 Einzelprojekte wurden vom Bundesinstitut für Berufsbildung (BiBB) fachlich betreut und wissenschaftlich begleitet. Das Anliegen dieses Projekts ist nun eine Nachhaltigkeitsanalyse (Evaluation) von TRANSFORM Projekten, die in Russland angesiedelt waren und auf eine Modernisierung der vormarktwirtschaftlichen Ausbildungen (insbesondere im kaufmännischen Bereich) zielten. Untersucht wird gemeinsam mit dem BiBB, inwieweit es gelungen ist, die dort eingeführten Innovationen langfristig, d.h. auch Jahre nach Ende der Projekt- und Förderphase, umzusetzen und ggf. weiter zu entwickeln. Die Ergebnisse der Evaluation sollen wichtige Anhaltspunkte für die Qualität der eingesetzten Beratungsinstrumente liefern und Impulse für künftige Beratungsprojekte geben.
Ebenso wie für die beiden zuvor genannten Projekte entwickelte und etablierte das CEval für das Projekt „Umweltorientierte Berufsbildung“ der deutsch-mexikanischen Entwicklungszusammenarbeit, ein Monitoring- und Evaluationssystem zur Qualitätssicherung und übernahm zusätzlich die methodische Schulung und praktische Einführung des Systems bei der mexikanischen Partnerorganisation.
Im Auftrag von Herrn Prof. Dr. Reinhard Daugs, Leiter des Projekts VISU (Virtuelle-Saar-Universität), wurde ein umfassendes Konzept zur Evaluation internetbasierter Hochschul-Lehrangebote entwickelt. Ziel ist, allen Fachrichtungen und Lehrstühlen der Universität des Saarlandes ein geeignetes Instrumentarium zur Verfügung zu stellen, mit dem Online-Lehrangebote über alle Phasen der Planung, Entwicklung und Implementierung (Anbieterseite) sowie der Anwendung (Nutzerseite) evaluiert werden können.
Im Zeitraum von 2 Jahren wurde ein M&E-System für das Berufsbildungsprojekt der GTZ in Manila mit den beteiligten Partnern entwickelt und implementiert. Im Rahmen dieses Prozesses wurden Schulleiter, Lehrer, Unternehmer und Ausbilder, die in die duale Berufsausbildung involviert sind, mittels standardisierten Face-to-face-Interviews befragt und eine Absolventenverbleibsanalyse durchgeführt.
Ein vom Centrum für Evaluation (CEval) für das Projekt „Umweltschutz und industrielle Wettbewerbsfähigkeit“ entwickeltes und etabliertes Monitoring- und Evaluationssystem dient der kontinuierlichen Wirkungsbeobachtung über den gesamten Projektverlauf und stellt somit ein zentrales Instrument der Qualitätssicherung dar. Das Vorhaben umfasst die konzeptionelle Entwicklung von M&E-Instrumenten und –Verfahren, die methodische Schulung der zuständigen Mitarbeiter in den Partnerorganisationen sowie die beratende Begleitung bei der Erfassung, Auswertung und Nutzung von Daten über den Projektverlauf und die Projektergebnisse.
Ein vom Centrum für Evaluation (CEval) für das Projekt „Dezentralisierung der Abfallwirtschaft im Bundesstaat Mexiko“ entwickeltes und etabliertes Monitoring- und Evaluationssystem dient der kontinuierlichen Wirkungsbeobachtung über den gesamten Projektverlauf und stellt somit ein zentrales Instrument der Qualitätssicherung dar. Das Vorhaben umfasst die konzeptionelle Entwicklung von M&E-Instrumenten und –Verfahren, die methodische Schulung der zuständigen Mitarbeiter in den Partnerorganisationen sowie die beratende Begleitung bei der Erfassung, Auswertung und Nutzung von Daten über den Projektverlauf und die Projektergebnisse.
Im Zuge der Neuordnung der Projekte der HSS in der VR China hinsichtlich einer bildungspolitischen Systemberatung wurde die Situation der beruflichen Bildung in der Provinz Gansu evaluiert.
Ziel des Projektes ‚Wetterfernsehen – Telematische Skulptur der KZ-Gedenkstätte Neue Bremm‘ der Designerin Sandra Anstätt und des Künstlers Rolf Giegold war eine künstlerisch konzipierte Gesprächsanbahnung über die Saarbrücker KZ-Gedenkstätte an der Grenze zu Frankreich und ihre heutige Bedeutung. Über Monitore wurde ein Livebild der KZ-Gedenkstätte Neue Bremm in Form eines Wetterbildes, wie es teilweise von TV-Programmen ausgestrahlt wird, an acht Standorten in öffentlichen Gebäuden Saarbrückens übertragen. Die telematische Skulptur sollte den sozial wie urban ‚unterbelichteten‘ Ort am Stadtrand in die Stadtmitte bringen und somit Passanten einen Zugang zum Ort selbst eröffnen. Die medial wirksame künstlerische Vermittlungsstrategie bzw. Kommunikationskonzeption sollte - über den Ort und seine Geschichte hinausgehend - zum Nachdenken über die Folgen des Faschismus anregen.
Eine Evaluation des Projektes sollte Aufschluss darüber geben, inwieweit sich die Erwartungen der Projektautoren Anstätt und Giegold erfüllt haben und das Projekt die intendierten Wirkungen erreicht hat, d.h. inwieweit der Monitor bzw. das gezeigte Bild einen kommunikativen Prozess bei den Betrachtern ausgelöst hat. Von zentralem Interesse war hierbei die Frage nach der Wahrnehmung der Monitore durch Passanten an sich aber auch die Frage nach der Reaktion, die ausgelöst wurde.
Anhand einer empirischen Studie wurde gezeigt, dass ein Großteil der Personen, die einen der Monitore passiert hatten, diesen nicht nur sahen sondern auch inhaltlich korrekt wahrnahmen, wobei die Häufigkeit, mit der eine Person einen der Monitore passierte, einen Einfluss auf die Wahrnehmung hatte. In einem weiteren Schritt wurde gezeigt, dass die Monitore die intendierte Reaktion bewirkten: Viele der befragten Personen gaben an, sich bereits über den Monitor unterhalten zu haben.
Veröffentlichung:
Caspari, Alexandra, 2001: Wahrnehmung und Reaktion. Eine Evaluation des Projektes Wetterfernsehen, in: Haberl, H.G./Bohr, K.; Wetterfernsehen. Osfildern-Ruit: Crantz, S. 74-91
Das Projekt ITES hat zum Ziel, internet-basierte Informations- und Kommunikationskonzepte zu entwickeln, welche die universitären Anwendungsfelder Veranstaltungen, Veröffentlichungen und Lehre abdecken. Im Rahmen des ITES-Subprojekts ‚web-based publishing’ wurde hierbei vom Sportwissenschaftlichen Institut der Universität des Saarlandes
das E-Journal „Motor Control and Learning“ konzipiert und implementiert.
Für die Evaluation dieses E-Journals wurde vom CEval ein Evaluations- und Monitoring-Konzept entwickelt und umgesetzt. Folgende Aspekte werden hierbei schwerpunktmäßig erfasst: (1) die "Attraktivität" und (2) die "Aktualität" des E-Journals, (3) die Erreichung der Zielgruppen, (4) die Qualität der technischen Implementierung, (5) die inhaltliche Qualität des E-Journals und (6) die Qualität der Dienstleistungen und der Homepage-Verwaltung.
Die Erhebung der hierfür notwendigen Daten erfolgt zum einen mittels eines standardisierten Online-Fragebogens, der den Nutzern des E-Journals in regelmäßigen Intervallen präsentiert wird und zum anderen durch eine Analyse der standardmäßig aufgezeichneten Internet-Nutzungsprotokolle (Log Files).
Seit 1997 fördert die saarländische Landesregierung die Einrichtung zusätzlicher Ausbildungsplätze durch saarländische Betriebe und Unternehmen mit einem spezifisch ausgerichteten Förderprogramm. Die durchgeführte ex-post Evaluation des Programms sollte zum einen die Wirksamkeit der Förderung prüfen und zum anderen Empfehlungen für eine modifizierte Weiterführung des Förderprogramms abgeben.
Seit 1989 unterstützen das Bundesumweltministerium und das Umweltbundesamt jährlich mit ca. 0,9 Mio. Euro Projekte zur Durchführung von Umweltberatungen bei bundesweit operierenden Verbänden (bis zum Evaluationszeitpunkt ungefähr 100 Maßnahmen mit einem Volumen von über 8 Mio. Euro). Bei der ex-post Evaluation wurden die Wirkungen von einem Drittel der Projekte (mit Beteiligung von 30 verschiedenen Organisationen) untersucht.
Zum ersten Mal seit knapp dreißig Jahren wurden sämtliche Standorte des Studienfachs Soziologie in der Bundesrepublik Deutschland zur Entwicklung des Fachs befragt. Die Erhebung erfolgte über das Internet, wobei die notwendigen technischen Grundlagen im Rahmen von Lehrveranstaltungen gemeinsam mit den Studierenden erarbeitet wurden.
In dieser Studie wurde herausgearbeitet, inwieweit die unterschiedliche Wirksamkeit von Berufsbildungsprojekten in der VR China auf unterschiedliche Förderkonzepte, Strategien, Vorgehensweisen und Handlungsbedingungen der beiden Organisationen GTZ und HSS zurückgeführt werden kann. Aus der vergleichenden Betrachtung wurden Empfehlungen für die Entwicklungspolitik im Hinblick auf die eingesetzten Förderstrategien und unterschiedlichen Arbeitsweisen der beiden Durchführungsorganisationen abgeleitet.
Als Soforthilfe für die neuen Bundesländern unterstützte die Deutsche Bundesstiftung Umwelt zwischen 1991 und 1996 mit rd. 25 Mio. Euro den Aufbau einer Umweltberatungsinfrastruktur bei den neugegründeten Handwerks-, Industrie- und Handelskammern, verschiedenen Einzelgewerkschaften und der Landwirtschaftsberatung Mecklenburg-Vorpommern sowie die Vermittlung von fast 10.000 Beratungen privater Ingenieurbüros bei Kommunen sowie kleineren und mittleren Unternehmen. Im Rahmen der ex-post Evaluation wurden knapp 1500 beratene Betriebe und Kommunen telefonisch befragt und rund 80 Leitfaden gestützte Intensivinterviews mit allen Beteiligten durchgeführt.
Vor dem Hintergrund steigenden Interesses an der langfristigen Wirksamkeit der deutschen Entwicklungszusammenarbeit (EZ) sowie einem Beschluss des Deutschen Bundestages startete das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) 1997 eine groß angelegte Studie „Wirkungsuntersuchung abgeschlossener Vorhaben der deutschen EZ“. Ziel der Studie war es, erstmals durch eine breit angelegte Untersuchung empirisch abgesicherte Aussagen zu langfristigen Wirkungen der deutschen EZ zu gewinnen. Zu diesem Zweck wurden 1999 Einzelevaluationen von 32 Projekten in den jeweiligen Empfängerländern durchgeführt.
