Une étude indique que l’analyse comparative uniquement des mesures est « imprudente »

Un examen commandé par les principaux bailleurs de fonds de la recherche du Royaume-Uni met en garde contre le passage à un système entièrement métrique pour le prochain cadre d’excellence en recherche (REF), mais indique que des «indicateurs axés sur la valeur» supplémentaires sur la culture et les personnes devraient être inclus dans les futures évaluations.

En recommandant que les bailleurs de fonds « évitent une approche globale » pour le cadre de référence suivant, l’examen note qu’il est « peu probable » qu’une évaluation bibliométrique des résultats de la recherche du secteur « permette d’atteindre ce que la communauté de la recherche, le gouvernement et les parties prenantes attendent de exercer. »

Se passer de l’examen par les pairs – sur lequel le National Review of Research du Royaume-Uni s’est largement appuyé tous les sept ans depuis sa création dans les années 1980 – serait particulièrement imprudent pour évaluer l’impact de la recherche car « les indicateurs ou l’infrastructure disponibles ne peuvent pas approcher la richesse de la recherche dans le royaume. « Le format actuel de l’étude de cas », conclut la revue, qui vise à fournir une « Un regard court, pointu et fondé sur des preuves. » Sur les utilisations actuelles et potentielles des échelles dans l’évaluation de la recherche.

Opinions du campus: Ne laissez pas la queue de REF remuer le chien académique

L’étude, intitulée « Harnessing Tide Metrics » et publiée le 12 décembre, fait suite au dernier examen majeur des mesures de recherche, 2015 métrique de la maréeEt le qui a conclu qu ‘«il n’est actuellement pas possible d’évaluer la qualité des résultats de la recherche en utilisant uniquement des indicateurs quantitatifs».

À l’heure actuelle, l’utilisation de REF pour les mesures bibliométriques est limitée ; Des données quantitatives, généralement le nombre de citations, peuvent être demandées par des sous-comités, tandis que des statistiques peuvent également être incluses dans les déclarations d’impact ou d’environnement pour illustrer la force comparative des résultats de la recherche. Cependant, les préoccupations concernant le coût et la charge bureaucratique du cadre de référence, qui est utilisé pour guider l’attribution d’environ 2 milliards de livres sterling de subventions de recherche annuelles, ont conduit à des appels à une utilisation accrue des citations, qui peuvent souvent refléter la qualité et l’impact de la production de la recherche.

Nouveau rapport – dirigé métrique de la marée Les auteurs sont James Wilsdon, professeur de science numérique pour la politique de recherche à Université de SheffieldStephen Curry, doyen associé pour l’équité, la diversité et l’inclusion collège impérial de LondresElizabeth Gad, directrice de la politique de recherche à l’Université du Michigan Obtenez la pose photo gratuite pour des dizaines de fonds d’écran gratuits – reconnaît qu' »il peut y avoir plus d’opportunités d’utiliser des métriques » compte tenu des avancées analytiques depuis 2015 mais doute de la mesure dans laquelle les citations et autres données bibliométriques peuvent être utilisées, au moins séparément.

« Il est rare, en particulier dans les établissements d’enseignement supérieur, que les limites de la bibliométrie soient si imparfaites qu’elles interrompent complètement l’analyse bibliométrique, bien que dans certaines circonstances, il s’agisse de la ligne de conduite la plus rigoureuse », reflète l’étude, qui attire l’attention sur la controverse. entourant « La place appropriée pour la bibliométrie dans les pratiques d’évaluation de la recherche … y compris la question de savoir si elles ont une place du tout ».

Plutôt que d’augmenter l’utilisation de la bibliométrie – qui, selon les promoteurs, allégera le fardeau des examinateurs REF et réduira les coûts tout en conduisant à des tableaux de classification et des allocations presque identiques dans de nombreux sujets – la révision recommande de renforcer données d’environnement, Ce qui « devrait avoir plus de poids » que le score universitaire de 15% dans le REF 2021, principalement en incluant de nouveaux indicateurs dits de « données pour de bon » sur les personnes et la culture.

Ces « indicateurs axés sur les valeurs » peuvent inclure des statistiques sur les écarts de rémunération entre les sexes et les ethnies parmi le personnel de recherche, le pourcentage de personnel de recherche ayant des contrats à court terme, des indicateurs de recherche ouverte et des informations sur les activités d’examen par les pairs du personnel et la durée des congés de recherche pris.

« Ces données pour de bon » peuvent renforcer la Hesa ​​actuelle [Higher Education Statistics Agency] les données et leur utilisation comme entrée pour les aspects des personnes et de la culture dans les évaluations futures », suggère le rapport.

Les conclusions du rapport alimenteront une réflexion plus large sur le référentiel Programme d’évaluation de la recherche future (FRAP), présidé par Sir Peter Gluckman, ancien conseiller scientifique en chef de la Nouvelle-Zélande, qui devait rendre son rapport à la fin du printemps 2023.

A plus grande échelle, La Revisiter la marée métrique Le rapport demande également que le REF soit renommé le cadre de qualité de la recherche dans le cadre des efforts visant à réduire la concurrence entre les chercheurs et à encourager une plus grande collaboration.

Le rapport indique que le nouveau titre « remplacera le terme « excellence » contesté et mal défini par une alternative qui reflète les multiples dimensions de la qualité et de l’impact de la recherche, englobant les processus, les cultures et les comportements », ce qui appelle également à plus de sensibilisation et de discussion sur le évaluation de la recherche responsable au sein des universités britanniques.

Se félicitant des résultats de la nouvelle étude, la PDG de Research England, Dame Jessica CornerEt le Il était nécessaire de faire des changements [to the REF] Construit sur des preuves solides et une consultation étroite avec le secteur.

[email protected]