Kolarz, Peter and Machado, Diogo (2025) Inside the funding process: Using generative AI to assess reviewers’ criteria prioritisation in multi-stage application assessments. fteval Journal for Research and Technology Policy Evaluation (57). e18, 1-25. ISSN 1726-6629
Full text not available from this repository.Abstract
Bei der Bewertung von Förderprogrammen mit mehreren Zielen (ausgedrückt durch mehrere Bewertungskriterien wie Qualität, Neuheit, Relevanz, Zusammenarbeit usw.) besteht eine inhärente Herausforderung darin, zu beurteilen, welche Rolle die verschiedenen Bewertungskriterien im Auswahl- und Vergabeprozess spielen. Im Rahmen einer Prozessbewertung des Programms „Emerging Fields” des österreichischen FWF haben wir generative KI eingesetzt, um die Gutachten von Peer-Reviewern zu den im Rahmen des Programms eingereichten Anträgen zu analysieren. Der Zweck dieser Analyse war es, zu verstehen, wie verschiedene Bewertungskriterien im Begutachtungsprozess operationalisiert wurden. Konkret umfasst das Programm „Emerging Fields“ zwei separate schriftliche Bewertungsphasen für Anträge: eine Phase mit kurzen Entwürfen, gefolgt von einer Phase mit vollständigen Anträgen. Hintergrundrecherchen zur Gestaltung des Programms
führten uns zu der Hypothese, dass die Begutachtungen in der ersten dieser beiden Phasen das innovative Potenzial und die Neuartigkeit der vorgeschlagenen Projektideen betonen und belohnen sollten, während die Begutachtungen in der zweiten Phase einen größeren Schwerpunkt
auf die wissenschaftliche Qualität der Forschungsvorhaben legen sollten.
Abstract (english)
When evaluating funding schemes with multiple aims (expressed through multiple assessment criteria such as quality, novelty, relevance, collaboration, etc.), there is an inherent challenge in assessing what role different assessment criteria play in the selection and awarding process. As part of a process evaluation of the Austrian FWF’s Emerging Fields programme, we used generative AI to analyse peer reviewers’ reports on applications submitted to the scheme. The purpose of this analysis was to understand how various assessment criteria were being operationalised in the review process. Specifically, the Emerging Fields scheme has two separate written application assessment stages: a short outline-proposal stage, followed by a full application review stage. Background research on the scheme’s design led us to a hypothesis that reviews in the first of these two stages should emphasise and reward innovative potential and novelty of the proposed project ideas, while reviews in the second stage should place a greater emphasis on scientific quality of the research plans.
| Funders: | fteval - Österreichische Plattform für Forschungs- und Technologiepolitikevaluierung |
|---|---|
| Subjects: | Policy, Fields & Systems Evaluation R&D in Austria |
| Divisions: | Institution without fteval membership Technopolis Forschungs- und Beratungsges.m.b.H |
| Identification Number: | 10.22163/fteval.2025.710 |
| Date Deposited: | 09 Jul 2025 16:31 |
| URI: | https://repository.fteval.at/id/eprint/778 |
Actions (login required)
 |
View Item |
