Kofler, Jakob and Régent, Verena and Streicher, Jürgen and Wagner, Isabella (2026) Chancen & Grenzen kontrafaktischer Wirkungsanalysen für die österreichische FTI-Politik – eine Situationsanalyse. Technical Report. fteval - Österreichische Plattform für Forschungs- und Technologiepolitikevaluierung. Wien.
Full text not available from this repository.Abstract
Im Jahr 2024 veröffentlichte die deutsche Expertenkommission Forschung und Innovation (EFI) eine Studie, die systematisch dokumentierte, in welchem Ausmaß kontrafaktische Methoden in der deutschen FTI-Evaluationspraxis Anwendung finden. Das österreichische Bundesministerium für Frauen, Wissenschaft und Forschung (BMFWF) erkannte das Potenzial einer vergleichbaren Analyse für den österreichischen Kontext und unterstützte die Idee einer eigenständigen Situationsanalyse. Die Österreichische Plattform für Forschungs- und Technologiepolitikevaluierung (fteval) schrieb daraufhin eine Kooperationsstudie aus, um diese Forschungsfragen gemeinsam mit interessierten Mitgliedsinstitutionen zu bearbeiten. Das Konsortium – bestehend aus KMU Forschung Austria, WPZ Research GmbH, Joanneum Research Plattform ftevalführte die Studie zwischen Juli 2025 und Juli 2026 durch.
Die vorliegende Analyse setzt sich aus fünf integrierten Arbeitspaketen zusammen. Zunächst wurde eine umfassende Literaturanalyse zum Stand der akademischen Diskussion über Kausalanalysen in FTI-Evaluationen durchgeführt. Darauf aufbauend erfolgte eine systematische Dokumentenanalyse österreichischer Evaluationen aus dem Zeitraum 2020–2024, in denen kontrafaktische Methoden bereits Anwendung fanden.
Ergänzend wurden internationale Best-Practice-Beispiele untersucht, um Strukturen und Voraussetzungen zu identifizieren, die den erfolgreichen Einsatz kausalanalytischer Methoden ermöglichen.
Parallel dazu wurden qualitative Interviews mit Auftraggeber:innen, Evaluierenden und anderen relevanten Fachakteuren durchgeführt, um Erwartungen, Wahrnehmungen und Kontextbedingungen zu erfassen. Ein Workshop diente der Synthese dieser Erkenntnisse und der gemeinsamen Entwicklung von Handlungsempfehlungen. Diese mehrschichtige Herangehensweise ermöglicht es, den Status quo dokumentarisch zu erfassen, die strukturellen und institutionellen Bedingungen zu analysieren, die den Einsatz kausalanalytischer Methoden prägen, und auf dieser Grundlage evidenzbasierte Empfehlungen für die Weiterentwicklung der österreichischen Evaluationspraxis zu formulieren.
Abstract (english)
In 2024, the German Commission of Experts for Research and Innovation (EFI) published a study that systematically documented the extent to which counterfactual methods are applied in German R&I evaluation practice. The Austrian Federal Ministry for Women, Science and Research (BMFWF) recognized the potential of a comparable analysis for the Austrian context and supported the idea of an independent situational analysis. The Austrian Platform for Research and Technology Policy Evaluation (fteval) subsequently issued a call for a cooperative study to address these research questions jointly with interested member institutions. The consortium – consisting of KMU Forschung Austria, WPZ Research GmbH, Joanneum Research, and fteval – conducted the study between July 2025 and July 2026. The present analysis comprises five integrated work packages. First, a comprehensive literature analysis on the state of academic discourse on causal analyses in R&I evaluations was conducted. Building on this, a systematic document analysis of Austrian evaluations from 2020–2024 in which counterfactual methods had already been applied was undertaken. Additionally, international best-practice examples were examined to identify structures and preconditions that enable successful deployment of causal-analytical methods. In parallel, qualitative interviews were conducted with commissioners, evaluators, and other relevant stakeholders to capture expectations, perceptions, and contextual conditions. A workshop served to synthesize these findings and jointly develop recommendations for action. This multi-layered approach makes it possible to document the status quo, analyse the structural and institutional conditions that shape the deployment of causal-analytical methods, and on this basis formulate evidence-based recommendations for the further development of Austrian evaluation practice.
| Funders: | BMFWF - Bundesministerium für Frauen, Wissenschaft und Forschung, fteval - Österreichische Plattform für Forschungs- und Technologiepolitikevaluierung |
|---|---|
| Subjects: | Policy, Fields & Systems Evaluation Studies on Evaluation |
| Divisions: | Ministry for Women, Science and Research Joanneum Research KMU Forschung Austria WPZ Research GmbH fteval - Austrian Platform for Research and Technology Policy Evaluation |
| Number of Pages: | 47 |
| Identification Number: | 10.22163/fteval.2026.759 |
| Date Deposited: | 18 Aug 2026 11:03 |
| URI: | https://repository.fteval.at/id/eprint/841 |
Actions (login required)
 |
View Item |
