Palfinger, Thomas and Gaisbauer, Felix and Wagner, Isabella and Beck, Susanne (2025) Wie wirkt künstliche Intelligenz im Evaluationssystem? Diskussionsanstöße für die Gestaltung des Evaluationssystems von morgen. fteval Journal for Research and Technology Policy Evaluation, 55. e5 1-35. ISSN 1726-6629 (Submitted)
Preview |
Text (Artikel 5505 - Volltext Deutsch)
art5_5505_fin.pdf Download (292kB) | Preview |
Preview |
Text (Predecessor Version in English (Working Paper Draft))
AI_Paper_EN.pdf Download (506kB) | Preview |
Abstract
In diesem Diskussionspapier werden erste Überlegungen zu möglichen Veränderungen durch künstliche Intelligenz (KI) in einem Evaluationssystem am Beispiel der Forschungs- und Innovationspolitikevaluierung angestellt.
In den bisherigen Diskursen über Künstliche Intelligenz (KI) standen hier vor allem Datenschutz, Ethik sowie wissenschaftliche und methodische Zuverlässigkeit im Vordergrund. Dieses Diskussionspapier zielt darauf ab, eine zusätzliche, systemische Perspektive einzubringen: Es untersucht, wie sich die Beziehungen zwischen Akteur:innen in einem Evaluationssystem verändern, wenn dieses System mit generativer KI konfrontiert wird. Eine Arbeitsgruppe der Österreichischen Plattform für Forschungs- und Technologiepolitikevaluierung (fteval) hat sich dieser Frage von Juli 2023 bis März 2024 gewidmet. Auf Grundlage interner Diskussionen und begleitender Literaturrecherche wurde ein Modell entwickelt, das als Instrument dient, um die Handlungspraxis der Akteur:innen im FTI-Evaluationssystem zu reflektieren und gemeinsam zu diskutieren. Ausgangspunkte sind die Annahmen, dass generative KI als disruptives Element in das bestehende Evaluationssystem eintritt und dass diese Werkzeuge die Beziehungen zwischen den Akteur:innen verändern können. Obwohl der Fokus auf das österreichische Evaluationssystem gerichtet ist, wird davon ausgegangen, dass das Modell auch in anderen Evaluationssystemen oder Branchen mit ähnlichen Strukturen nützlich sein könnte.
Abstract (english)
***DISCLAIMER The English translation provided here in full text is a translated draft of a working paper that was NOT published in issue #55 of the fteval Journal. The translation was done with the support of Chat GPT 4.o and has not received a final editorial check. An authorised English translation of the accepted German article will added to this record as soon as available*** In this discussion paper, initial considerations are made on possible changes through artificial intelligence (AI) in an evaluation system using the example of research and innovation policy evaluation. Previous discourse on artificial intelligence (AI) has focussed primarily on data protection, ethics and scientific and methodological reliability. This discussion paper aims to introduce an additional, systemic perspective: It examines how the relationships between actors in an evaluation system change when this system is confronted with generative AI. A working group of the Austrian Platform for Research and Technology Policy Evaluation (fteval) addressed this question from July 2023 to March 2024. Based on internal discussions and accompanying literature research, a model was developed that serves as an instrument for reflecting on and jointly discussing the practical actions of the actors in the RTI evaluation system. The starting points are the assumptions that generative AI is entering the existing evaluation system as a disruptive element and that these tools can change the relationships between the actors. Although the focus is on the Austrian evaluation system, it is assumed that the model could also be useful in other evaluation systems or industries with similar structures.
| Subjects: | Studies on Evaluation |
|---|---|
| Divisions: | AIT - Austrian Institute of Technology GmbH AQ - Agentur für Qualitätssicherung und Akkreditierung Austria Institution without fteval membership Ludwig Boltzmann Gesellschaft WWTF - Wiener Wissenschafts-, Forschungs- und Technologiefonds fteval - Austrian Platform for Research and Technology Policy Evaluation |
| Number of Pages: | 18 |
| Identification Number: | 10.22163/fteval.2024.644 |
| Date Deposited: | 01 Aug 2024 06:44 |
| URI: | https://repository.fteval.at/id/eprint/707 |
Actions (login required)
 |
View Item |
