Coryn, Chris and Applegate, Brooks and Schröter, Daniela and Martens, Krystin and McCowen, Robert (2012) An Evaluation of the Transparency and Overall Quality of Evaluation at the Swiss National Science Foundation. Technical Report. Kalamazoo.
Preview |
Text
An Evaluation of the Transparency and Overall Quality of Evaluation at the Swiss National Science Foundation.pdf Download (1MB) | Preview |
Abstract
Die Gesamtqualität und Transparenz der Bewertung der SNF – der Schweizerischen National Science Foundation – wurde von sechs Schwerpunktevaluierungsfragen angeleitet, die in Unterkategorien gruppiert wurden in Beziehung zu (1) Strukturen und Umgebung, (2) Ziele, Kriterien, Richtlinien und Verfahren, (3) Transparenz und Nachvollziehbarkeit sowie (4) Auswirkungen. Insgesamt wurden 32 Fragen im Rahmen der Evaluierung nachgegangen. Methodisch wurde ein Mixed-Method Ansatz verfolgt, der das gleiche Gewicht sowohl auf quantitative wie auch auf qualitative Methoden setzt. Schlussfolgerungen und Empfehlungen basieren auf der Analyse von (1) einer Befragung von FC-Mitgliedern, (2) eine Befragung von BewerberInnen, (3) eine Befragung von externen GutachterInnen, (4) Daten, (5) Leitfadeninterviews mit Mitgliedern des NRC und des Sekretariats sowie (6) SNF-Dokumente. Gesamtheitlich gesehen, erfüllt der SNF seine Ziele. Der SNF ist besonders gut bei der Rekrutierung und Bindung qualifizierter MitarbeiterInnen, obwohl die zugrundeliegenden Prozesse nicht immer transparent sind. Darüber hinaus tragen die Struktur, Organisation und Aufgabenteilung innerhalb des SNF zu den Zielen bei. Außerdem ist die Kommunikation zwischen verschiedenen Gruppen und Abteilungen stark, aber flexibel.
Abstract (english)
The evaluation of the overall quality and transparency of evaluation at the SNSF – the Swiss National Science Foundation – was guided by six focal evaluation questions that were grouped into subcategories of questions related to (1) structures and environments, (2) targets, criteria, guidelines, and procedures, (3) transparency and comprehensibility, and (4) impacts. In total, 32 questions were addressed by the evaluation. Methodologically, a concurrent mixed method design, giving equal priority to both quantitative and qualitative methods, was employed. Conclusions and recommendations are based on analyses of (1) a survey of FC members, (2) a survey of applicants, (3) a survey of external expert reviewers, (4) extent data, (5) semi-structured interviews with members of the NRC and Secretariat, and (6) SNSF documents. Overall, the SNSF is meeting its objectives. The SNSF is exceptional at recruiting and retaining qualified people, although the processes for doing so are not always transparent. Additionally, the structure, organisation, and division of tasks within the SNSF contribute to the goals of the SNSF. Further, communication between various groups and bodies is strong, yet flexible.
| Funders: | SNSF - Swiss National Science Foundation |
|---|---|
| Subjects: | Evaluation of Institutions |
| Divisions: | -- Other |
| Number of Pages: | 71 |
| Uncontrolled Keywords: | Organisation evaluation, process analysis, science foundation, national science institution, mixed method, survey, semi-structured interview, communication, application process |
| Identification Number: | 10.22163/fteval.2012.76 |
| Date Deposited: | 13 Oct 2016 11:09 |
| URI: | https://repository.fteval.at/id/eprint/98 |
Actions (login required)
 |
View Item |
