Évaluation

Évaluation de la recherche : critères et indicateurs

Publié le

DORA, Manifeste de Leiden : les principes mis en œuvre par le Hcéres dans ses missions d’évaluation de la recherche.

La Déclaration de San Francisco sur l’évaluation de la recherche (DORA) rendue publique en 2012 et le Manifeste de Leiden publié en 2015 visent à améliorer les pratiques d’évaluation, en alertant notamment sur le mauvais usage de certains indicateurs bibliométriques dans le cadre de recrutements, de promotions ou d’évaluations individuelles de chercheurs.

Ces deux textes relèvent en particulier que différentes parties prenantes des systèmes de recherche font usage de deux indicateurs, qui ont été largement critiqués par la communauté des scientomètres. DORA insiste plus particulièrement sur l’usage du facteur d’impact des revues (journal impact factor, JIF). Le mode de calcul de cet indicateur le rend biaisé en faveur de certaines revues et il peut en outre faire l’objet de manipulations. De plus, il ne tient pas compte de la diversité des pratiques entre disciplines et sous-disciplines, ce qui peut introduire des biais dans les comparaisons entre chercheurs ou unités de recherche.

Le manifeste de Leiden s’attache lui à l’indice H, proposé en 2005 par le physicien Jorge Hirsch (H index) et dont l’usage s’est très rapidement répandu. L’ambition de cet indicateur composite était de rendre compte simultanément du nombre de publications d’un chercheur et de leur impact scientifique. En réalité, la définition de cet indice, qui a séduit par sa simplicité, fait du nombre de publications la variable dominante et ne surmonte pas la difficulté qu’il y a à mesurer deux variables avec un seul indicateur. 

DORA et le Manifeste de Leiden ne se contentent pas de critiquer ces deux indicateurs : ils avancent des recommandations en matière d’utilisation d’indicateurs scientométriques, notamment en matière d’évaluation. Le Hcéres, bien qu’il évalue des structures de recherche et pas des individus, se reconnaît dans les principes avancés dans ces textes. Il les met en œuvre dans ses missions d’évaluation de la recherche.

  1. L’évaluation par les pairs est le fondement des pratiques évaluatives et des processus de publication scientifique. Dans le cadre d’une évaluation par les pairs, le Hcéres, en conformité avec les standards internationaux, respecte les exigences de transparence, de collégialité, d’égalité de traitement. Son processus d’évaluation de la recherche comprend une phase contradictoire permettant aux évalués de faire connaître leur point de vue sur leur évaluation.
  2. Le Hcéres a fait également le choix d’une évaluation multicritérisée. Celle-ci ne se réduit pas à quelques indicateurs ou métriques établis à partir d’une partie seulement de la production scientifique (les articles de périodiques) pour rendre compte des résultats obtenus par les structures de recherche évaluées dans la réalisation de leurs diverses missions.
  3. La méthodologie du Hcéres met l’accent sur la dimension qualitative de l’évaluation des structures de recherche. Pour les unités de recherche, l’approche privilégie l’autoévaluation dans la phase initiale du processus. Dans leur dossier d’autoévaluation, il est demandé aux évalués de sélectionner, dans la liste de leurs articles, ouvrages, chapitres d’ouvrages et actes de congrès, les 20% les plus importants et d’expliquer cette sélection. Ils doivent en outre  dégager de leur bilan quelques faits marquants et expliquer les raisons (épistémologiques, théoriques, méthodologiques, économiques, sociétales, organisationnelles, etc.) pour lesquelles ceux-ci constituent le plus significatif de leur activité durant la période évaluée. Le dossier doit aussi comporter une analyse SWOT, à réaliser en fonction du projet à cinq ans. 
  4. Cette méthodologie postule la commensurabilité des activités et des résultats des entités de recherche évaluées, dans la mesure où celles-ci ont, dans leur grande majorité, des missions comparables (production de connaissance, activités de valorisation et de transfert, appui aux communautés académiques, implication dans la formation par la recherche). Elle tient néanmoins compte de la spécificité disciplinaire de chaque domaine ou sous-domaine scientifique évalué, raison pour laquelle le Hcéres a composé et publié, pour chacun d’eux, un Guide des produits et activités de la recherche, en s’appuyant sur les communautés concernées. Ces Guides précisent le périmètre des objets évalués, la hiérarchie éventuelle qui peut être établie entre eux et les indices de qualité permettant de les évaluer.
  5. Pour l’évaluation des unités de recherche, le Hcéres recommande de privilégier la portée des résultats, sans recourir nécessairement et exclusivement à des indicateurs bibliométriques. Les experts qui estiment utile de se référer à ces indicateurs doivent en faire un usage mesuré et non exclusif. Ils peuvent être utilisés comme outils de travail complémentaires des jugements évaluatifs qualitatifs et en tenant compte du contexte dans lequel les travaux sont menés (spécificité des domaines scientifiques, caractéristiques de l’unité de recherche évaluée, etc.). Le Hcéres recommande en particulier que le recours éventuel à des indicateurs d'impact des revues (JIF ou autres) dans le cadre de l’évaluation d’une partie de la production scientifique des entités de recherche se fasse en tenant compte des limites de ces indicateurs. 
  6. Le département Observatoire des Sciences et Techniques du Hcéres produit des rapports d’indicateurs bibliométriques utilisés dans le cadre de l’évaluation des coordinations territoriales et des organismes de recherche. Ces rapports, transmis aux évalués, comportent une annexe méthodologique. Les indicateurs sont calculés au niveau des articles et normalisés pour tenir compte des spécificités disciplinaires. Certains indicateurs sont mobilisés dans le cadre de la production de synthèses de site des évaluations de la recherche et de synthèses disciplinaires nationales.
  7. Enfin, le processus dans lequel le Hcéres situe ses évaluations est dynamique. Dans une logique d’adaptation à l’écosystème évalué, ce processus implique la réévaluation régulière des instruments d’évaluation utilisés (critères, faits observables).

Ressources