Stampfer, Michael and Strassnig, Michael (2020) Evaluierung neu denken. Project Report. Wien.
Preview |
Text
Evaluierung neu denken _093020_final_fuer_fteval.pdf Download (1MB) | Preview |
Abstract
Diese Studie geht der Frage nach, in welcher Form öffentliche Unterstützungsmaßnahmen getroffen werden können, um im Feld der FTI-Politik-Evaluierung in Österreich die Kapazitäten für die Entwicklung, Aneignung und Anwendung von avancierten Methoden zu erhöhen. Den Hintergrund dafür bilden zunehmend komplexe Konzepte und Interventionsformen in vielen FTI-Systemen. Daher drohen bestehende Routinen, Methoden, Indikatoren und Datensätze sowie Auftragsformen für Evaluierungen ihre Grenzen zu erreichen und die Konkurrenzfähigkeit von Akteuren jedenfalls auf internationalen Märkten einzuschränken.
Der österreichische Markt für FTI-Evaluierungen ist sehr klein, von kleinstrukturierten Aufträgen ebenso geprägt wie von einer wachsenden Zahl von Anbieter*innen aus dem Inland und teils auch aus dem Ausland. Das Hauptprodukt sind Evaluierungen zu einzelnen FTI-Förderprogrammen. Seltener werden Arbeiten beauftragt, die auf Institutionen, größere thematische Felder oder das FTI-System insgesamt abzielen. Die Anbieter*innen kommen überwiegend aus dem Feld der privatwirtschaftlichen oder (halb-)öffentlichen außeruniversitären Sozialwissenschaften. Dieser Community ist es auch gelungen, einen USP zu erlangen und diesen teils auch in EU- und andere internationale Aufträge umzumünzen. Der akademische Sektor hingegen ist sehr schwach ausgeprägt und stellt weder für FTI-Politikgestaltung noch für ihre Evaluierung nennenswerte Kapazitäten bereit.
Das erwähnte „Hauptprodukt“ Programmevaluierung steht auch deshalb sehr stark im Vordergrund, weil in der heimischen FTI-Politik das Instrument des abgegrenzten, lang fortgeführten Förderprogramms dominiert, das in der Ownership von einzelnen Ministerien und / oder Agenturen steht. An diesem Instrument wird gelernt und Legitimierung gesucht und es beeinflusst die gewählten Pfade und Methoden bei Evaluierungen. Die Legitimierung erfolgt überwiegend gegenüber den relevanten Mitspieler*innen im Policy-System und auf
einer Datenbasis, die von schweren Restriktionen geprägt ist, soweit es sich um staatlich erhobene (Register- oder Mikro-)Daten handelt.
Hier setzt auch die Analyse an: Was steht für die österreichischen Policy-Akteure im Vordergrund, wenn sie tätig sind, und welche Werkzeuge schaffen sie sich bzw. bekommen sie in die Hand gegeben? Studien und Evaluierungen (von der Systemevaluierung bis zum
OECD Review) beobachten eine Vielfalt von Interventionsformen, freilich auf einer schmalen Bandbreite. Diese schmale Bandbreite und die zahlreichen kleineren Programme determinieren dann die Art und Methodenwahl der Evaluierungen. Daher scheint es auch keine bedeutende Diskrepanz zwischen Angebot und Nachfrage zu geben.
Dem steht ein stärker werdender internationaler Trend gegenüber, der in Richtung Missionen, breiteren Instrumenten, stärkerer Datenorientierung und stärkerer gesellschaftlicher Legitimation geht. Das bedingt und ermöglicht andere Formen der Evaluierung, was sich auch in den untersuchten internationalen Beispielen zeigt: Andere Methoden, andere und umfangreichere Evaluierungen sind möglich, weil ein anderes Policy-Verständnis möglich ist, nämlich größere, zusammenhängende Probleme angehen zu wollen und dazu auch Sektor- und Organisationsgrenzen besser überwinden zu wollen. Dieser internationale Trend kommt in Österreich nur zögerlich und noch kaum auf der Instrumentenebene an.
Für Österreich bietet nun die im Juli 2020 in Kraft gesetzte Forschungsfinanzierungsnovelle, namentlich das Forschungsfinanzierungsgesetz (FoFinaG) eine vielversprechende Möglichkeit, einen nächsten Schritt in Richtung Programmgestaltung und Evaluierung zu setzen. In den nächsten Monaten wird entlang der Stationen Strategie – FTI-Pakt – Finanzierungsvereinbarungen auch zu verhandeln sein, was passieren soll, mit welchen Instrumenten die Ziele erreicht werden sollen, ob die principal- oder die agent-Ebene die Programm-Ownership bzw. die über die Evaluierungen haben werden. Wie auch immer das Ergebnis im Einzelnen aussehen wird: Ein klarerer Interventions- und Evaluierungsrahmen kann auf verschiedene Weisen hergestellt werden; wichtig ist, dass er hergestellt wird.
Die Evidenz für diese Studie wurde überwiegend durch Desktop-Recherche und gut 20 Interviews zusammengetragen. Die Interviews erfolgten hauptsächlich mit Vertreter*innen österreichischer Evaluierungsanbieter*innen und -nachfrager*innen, mit Datenexpert*innen sowie mit internationalen Auskunftspersonen. Die Gespräche mit den österreichischen Interviewpartner*innen erfolgten entlang semi-strukturierter Fragebögen, die auf Rahmenbedingungen, Methoden- und Datenfragen eingingen. Die Interviews zeigen die große Bedeutung eines besseren Datenzugangs ebenso auf wie die Notwendigkeit anderer Policy Zugänge, um methodische Innovationen zu ermöglichen bzw. zum Einsatz zu bringen. Innerhalb der dominanten Form der Einzelprogramm-Evaluierungen werden deskriptive Statistik und qualitative Methoden wie Interviews und Surveys als das Grundgerüst angesehen und auch für die nächsten Jahre erwartet. Das Potenzial neuerer Methoden etwa aus dem Bereich der Data Sciences ist für viele der Befragten hingegen noch nicht offensichtlich.
Schließlich besteht eine weitgehende Skepsis bei den Befragten, was ein sehr spezifisches, maßgeschneidertes Methodenentwicklungsörderprogramm für die Community betrifft. Diese Studie liefert somit auch kein Programmdesign – insbesondere vor dem Hintergrund, dass (i) objektive Gründe (Marktgröße, Teilnehmer*innenzahl, Transferierbarkeit von Ergebnissen, langfristige Wirkungen, etc.) dagegen sprechen sowie (ii) die Bandbreite der Haltungen der Interviewpartner sehr groß und über weite Strecken eben von Skepsis geprägt ist.
Abstract (english)
This study examines concepts for public support actions to strengthen the methodological capabilities of market actors in the area of RTI policy evaluation against the backdrop of current and upcoming challenges for this area, in particular the increasing complexity of RTI politics in many countries. Existing approaches, methods, indicators and data sets run at risk to reach their limits and to fail to meet the market demand. The market for RTI-policy evaluation in Austria is characterised by a comparatively (very) small size both in terms of number and budget of contracts as well as by a comparably high number of national and international providers of evaluations compared to the small market size. Evaluations of individual RTI programs are frequently commissioned as this type of intervention dominates Austrian RTI policy. Rare is the number of exercises that target institutions, specific thematic areas or the RTI system as such. Contractors mainly come from the private and (semi-)public extra-mural social sciences sector. This sector has developed a USP regarding several RTI-related approaches and themes over the last decades, with a near complete absence of higher education institutions in that area. While there is a constant buzz about governance, strategies and missions, policy measures are being dominantly structured around sector-specific or collaborative RTI programmes “owned” by particular ministries and agencies, with implications for evaluations resulting in formative, i.e. learning or in legitimatizing approaches on the program level as well as the tool-case of established evaluation methods. Existing administrative and statistics RTI data as a rule cannot be used due to legal regulations and particular interests. International examples show that also broader approaches are possible and being followed both by contractors and academics / evaluators: In other countries we can find larger evaluations with more ambitious concepts to grasp broader policy issues and larger policy interventions, e.g. around mission-oriented policy approaches and instruments. Further, we can identify serious and structured work to capture new realities with new or improved indicators and methods. Evidence for this study has been collected mainly via desktop research and about 20 interviews mainly with national members of the RTI policy evaluation community and some international experts. With the former, semi-structured interviews on general conditions, methods and data have been conducted. The interviews stressed the relevance of data access and a changed RTI policy allowing for methodological innovations. Within the existing framework dominated by evaluations on programme level, descriptive statistics and qualitative methods (interviews, survey) are regarded as bread and butter methods – also in the foreseeable future. Potential benefits of more recent methods (e.g. from data science) are not yet clearly visible to the interviewees. The interviewees are also dominantly sceptical regarding a targeted public support action specific to RDI-polity evaluation providers.
| Funders: | Plattform für Forschungs- und Technologiepolitikevaluierung (FTEval) |
|---|---|
| Subjects: | Assessments R&D in Austria |
| Number of Pages: | 68 |
| Identification Number: | 10.22163/fteval.2020.529 |
| Date Deposited: | 10 Jan 2022 13:55 |
| URI: | https://repository.fteval.at/id/eprint/584 |
Actions (login required)
 |
View Item |
