Manrique, Sergio and WRÓBLEWSKA, Marta Natalia and Good, Bradley (2019) RETHINKING RESEARCH IMPACT ASSESSMENT: A MULTIDIMENSIONAL APPROACH. fteval Journal for Research and Technology Policy Evaluation (48). pp. 159-175. ISSN 1726-6629
Preview |
Text
Journal48_10.22163_fteval.2019.385.pdf Download (1MB) | Preview |
Abstract
Ein Interesse an der Bewertung der Auswirkungen auf die Forschung - oder am Einfluss der wissenschaftlichen Forschung über die Wissenschaft hinaus - ist weltweit zu beobachten. Mehrere Länder haben nationale Forschungsbewertungssysteme eingeführt, die dieses neue Bewertungselement berücksichtigen. Bisher konzentrierte sich die Forschung zu dieser Praxis hauptsächlich auf die Praktikabilität der verschiedenen bestehenden Politiken: die Definition des Begriffs „Forschungswirkung“, verschiedene Ansätze zu ihrer Messung, ihre relativen Herausforderungen und die mögliche Verwendung solcher Bewertungen. Die Einführung eines neuen Evaluierungselements führt jedoch nicht nur zu praktischen Herausforderungen, sondern auch zu wichtigen ethischen Konsequenzen in Bezug auf akademische Identität, Reflexivität, Machtstrukturen, Arbeitsteilung in Bezug auf Arbeitsbelastung usw. Ausgehend von diesen Fragen und den relevanten Bedürfnissen der Forscher schlagen wir in diesem Artikel ein mehrdimensionales Modell vor, das verschiedene Attribute der Auswirkungen auf die Forschung berücksichtigt: Reaktionsfähigkeit, Zugänglichkeit, Reflexivität, Ökologie und Anpassungsfähigkeit. Dieses ganzheitliche, mehrdimensionale Bewertungsmodell, das speziell für die Selbstbewertung oder interne Bewertung konzipiert wurde, erkennt die Qualitäten eines Projekts auf diesen verschiedenen Ebenen in einer breiteren Perspektive an (...). Dieses Modell adressiert viele der ethischen Dilemmata, die mit der Durchführung von Wirkungsforschung einhergehen. Um die Nützlichkeit des vorgeschlagenen Modells zu veranschaulichen, geben die Autoren Beispiele für die Bewertung von Forschungsprojekten in der Praxis, die unter Verwendung des mehrdimensionalen Ansatzes für die Bewertung der Auswirkungen auf die Forschung (MARIA-Modell) durchgeführt wurden.
Abstract (english)
An interest in the evaluation of research impact – or the influence of scientific research beyond academia – has been observable worldwide. Several countries have introduced national research assessment systems which consider this new element of evaluation. So far, research on this practice has focused mainly on the practicalities of the different existing policies: the definition of the term ‘research impact’, different approaches to measuring it, their relative challenges and the possible use of such evaluations. But the introduction of a new element of evaluation gives rise not only to challenges of a practical nature, but also to important ethical consequences in terms of academic identity, reflexivity, power structures, distribution of labour in terms of workloads etc. In order to address these questions and the relevant needs of researchers in this paper, we propose a multidimensional model that considers different attributes of research impact: Responsiveness, Accessibility, Reflexivity, Ecology and Adaptability. This holistic, multidimensional model of evaluation, designed particularly for self-assessment or internal assessment, recognises the qualities a project has on these different scales in a broader perspective, rather than offering a simple and single numerical evaluation. This model addresses many of the ethical dilemmas that accompany conducting impact-producing research. To exemplify the usefulness of the proposed model, the authors provide real-life research project assessment examples conducted with the use of the Multidimensional Approach for Research Impact Assessment (MARIA Model).
| Funders: | BMBWF |
|---|---|
| Subjects: | Policy, Fields & Systems Evaluation |
| Divisions: | -- Other |
| Uncontrolled Keywords: | Research Impact, Research Evaluation, Self-Assessment, Research Ethics. |
| Identification Number: | 10.22163/fteval.2019.385 |
| Date Deposited: | 07 Aug 2019 12:37 |
| URI: | https://repository.fteval.at/id/eprint/454 |
Actions (login required)
 |
View Item |
