Hcéres : Du bon usage des critères d'évaluation de la recherche

Dans un contexte marqué par une volonté de la communauté scientifique d’adopter de meilleures pratiques pour une évaluation davantage qualitative de la recherche, le Hcéres témoigne de son soutien aux principes portés par la DORA et le Manifeste de Leiden. Il les met en œuvre dans ses évaluations de structures de recherche en s’appuyant sur :

• Une évaluation par les pairs, conforme aux standards internationaux et aux exigences de transparence, de collégialité, d’égalité de traitement ;
• Une évaluation respectueuse du principe du contradictoire, offrant la possibilité aux évalués de faire connaître leur point de vue sur leur évaluation ;
• Une évaluation multicritères dépassant l’usage unique de quelques indicateurs pour rendre compte de l’ensemble des résultats obtenus ;
• Une évaluation à forte dimension qualitative et s’appuyant sur l’auto-évaluation ;
• Une évaluation alliant commensurabilité des activités et résultats des entités de recherche et prise en compte de leurs spécificités disciplinaires par l’usage de Guides des produits de la recherche et des activités de recherche ;
• Un processus d’évaluation dynamique, répondant à une logique d’adaptation à l’écosystème évalué et intégrant une révision régulière des référentiels utilisés.

La DORA et le Manifeste de Leiden soulignent en particulier l’usage de deux indicateurs largement critiqués par la communauté des scientomètres : le facteur d’impact des revues ou journal impact factor (DORA) et l’indice H ou H index (Manifeste de Leiden).

Ainsi, le Hcéres formule auprès des experts qu’il missionne deux recommandations portant sur l’usage des indicateurs bibliométriques dans l’évaluation des entités de recherche et de leur production scientifique :

• privilégier la portée des résultats, sans recourir nécessairement et exclusivement à des indicateurs bibliométriques, outils de travail complémentaires des jugements évaluatifs qualitatifs ;
• lors du recours éventuel à des indicateurs d'impact des revues, tenir compte des limites de ces indicateurs.

Par ailleurs, le département Observatoire des Sciences et Techniques (OST) du Hcéres produit des rapports d’indicateurs bibliométriques utilisés dans le cadre de l’évaluation des coordinations territoriales et des organismes de recherche. Ces rapports, transmis aux évalués, comportent une annexe méthodologique. Les indicateurs sont calculés au niveau des articles et normalisés pour tenir compte des spécificités disciplinaires. Certains indicateurs sont mobilisés dans le cadre de la production de synthèses des évaluations de la recherche de site et de synthèses disciplinaires nationales.

POUR EN SAVOIR PLUS…

• Consulter la Déclaration de San Francisco (San Francisco Declaration on Research Assessment, DORA)

• Consulter le Manifeste de Leiden (Leiden manifesto for Research metrics)

Consulter sur le site du Hcéres :

• Le référentiel d’évaluation des unités de recherche  
• Les Guides des produits de la recherche et des activités de recherche

Élaborés par le Hcéres, en collaboration avec les communautés concernées, ces Guides précisent le périmètre des objets évalués, la hiérarchie éventuelle qui peut être établie entre eux et les indices de qualité permettant de les évaluer.