Stampfer, Michael and Strassnig, Michael (2020) Evaluierung neu denken. Zusammenfassung der Ergebnisse internationaler Beispiele. Technical Report. Wien.
Preview |
Text
Evaluierung neu denken _1105_internationale Beispiele.pdf Download (498kB) | Preview |
Abstract
Der Bericht geht der Frage nach, in welcher Form öffentliche Unterstützungsmaßnahmen getroffen werden können, um im Feld der FTI-Politik-Evaluierung in Österreich die Kapazitäten für die Entwicklung, Aneignung und Anwendung von avancierten Methoden zu erhöhen. Den Hintergrund dafür bilden zunehmend komplexe Konzepte und Interventionsformen in vielen FTI-Systemen. Daher drohen bestehende Routinen, Methoden, Indikatoren und Datensätze sowie Auftragsformen für Evaluierungen ihre Grenzen zu erreichen und die Konkurrenzfähigkeit von Akteuren jedenfalls auf internationalen Märkten einzuschränken.
Diese Grenzen des Herkömmlichen sind das Aufkommen neuer thematischer Aspekte (z.B. Digitalisierung, open Innovation, public sector innovation, neue Forschungsinfrastrukturen), neue regulative Herausforderungen (z.B. DSGVO, open data, Registerdaten sowie Daten der amtlichen Statistik) sowie neue Entwicklungen auf methodisch-analytischer Ebene (z.B. data science, big data, neue Indikatoren, Verknüpfung von Datenbeständen).
Internationale Beispiele zeigen jedoch, dass breitere Ansätze möglich sind und sowohl von Auftragnehmer*innen als auch von Wissenschaftler*innen/Evaluator*innen befolgt werden: In anderen Ländern finden wir größere Bewertungen mit ehrgeizigen Konzepten, um umfassendere politische Fragen und größere politische Interventionen zu erfassen, z.B. in
Bezug auf missionsorientierte Ansätze und Instrumente. Darüber hinaus können wir ernsthafte und strukturierte Ansätze und Unterstützungsmassnahmen identifizieren, um neue FTI-politische Realitäten mit neuen oder verbesserten Indikatoren und Methoden zu erfassen.
Die im Bericht recherchierten Beispiele inkludieren:
1. Ein Förderprogramm des BMBF (Deutschland)
2. Transformative Innovation Policy Consortium (UK / The Netherlands /world-wide)
3. Eine große Evaluierung aus Schweden
4. International Research on Research Institute (RoRI)
5. European Research Infrastructure for Science and Innovation Policy Studies (RISIS)
6. Die Ankunft von Big Data (global)
Abstract (english)
This report examines concepts for public support actions to strengthen the methodological capabilities of market actors in the area of RTI policy evaluation against the backdrop of current and upcoming challenges for this area, in particular the increasing complexity of RTI politics in many countries. Existing approaches, methods, indicators and data sets run at risk to reach their limits and to fail to meet the market demand. These limits of the conventional are the emergence of new thematic aspects (e.g. digitization, open innovation, public sector innovation, new research infrastructures), new regulatory challenges (e.g. GDPR, open data, register data and data from official statistics) as well as new developments in methodological and analytical level (e.g. data science, big data, new indicators, linking of databases). International examples show that broader approaches are possible and being followed both by contractors and academics / evaluators: In other countries we can find larger evaluations with ambitious concepts to grasp broader policy issues and larger policy interventions, e.g. around mission-oriented policy approaches and instruments. Further, we can identify serious and structured work to capture new realities with new or improved indicators and methods. The international examples described in this report include: 1. A support programme of the German Federal Ministry of Education and Science 2. Transformative Innovation Policy Consortium (UK / The Netherlands /world-wide) 3. A large evaluation from Sweden 4. International Research on Research Institute (RoRI) 5. European Research Infrastructure for Science and Innovation Policy Studies (RISIS) 6. The emergence of Big Data (global)
| Funders: | BMDW - Bundesministerium für Digitalisierung und Wirtschaftsstandort |
|---|---|
| Subjects: | Assessments R&D in Austria |
| Divisions: | BMDW - Federal Ministry of Austria Digital and Economic Affairs WWTF - Wiener Wissenschafts-, Forschungs- und Technologiefonds fteval - Austrian Platform for Research and Technology Policy Evaluation |
| Number of Pages: | 23 |
| Identification Number: | 10.22163/fteval.2020.530 |
| Date Deposited: | 10 Jan 2022 14:14 |
| URI: | https://repository.fteval.at/id/eprint/585 |
Actions (login required)
 |
View Item |
