Évaluation des entités de recherche

Le Hcéres évalue en cinq campagnes successives qui couvrent l’ensemble du territoire français, les entités de recherche bénéficiant d’une labellisation et d’un financement publics. Ces entités sont pour l’essentiel des unités de recherche (équipes d’accueil, unités mixtes de recherche). Sont aussi évalués les structures fédératives, les centres d’investigation clinique, le volet recherche des centres hospitalo-universitaires, les instituts de recherche technologique, les unités mixtes des instituts français de recherche à l’étranger.

CONSTITUER/DÉPOSER SON DOSSIER D'AUTOÉVALUATION
Quand votre entité est-elle évaluée ? Que faut-il savoir et consulter pour constituer son dossier ? Où le déposer ? Quelles sont les dates clés à retenir ?
- Pour tout savoir

Un service public de l’évaluation

La méthodologie retenue par le Hcéres pour évaluer les entités de recherche repose sur quelques principes fondamentaux :

une évaluation qualitative conduite de façon collégiale par les pairs ;
une évaluation qui, au moyen de critères explicites, prend en compte la pluralité des missions, la diversité de la recherche et, le cas échéant, la complexité de sa dimension interdisciplinaire ;
une évaluation qui, pour chaque critère, s’appuie sur des faits observables et en apprécie la valeur.

L’évaluation aide d’abord les personnels des entités évaluées à mieux apprécier leurs activités et leurs résultats au regard de leurs missions ; elle leur permet de se positionner dans leur environnement régional, national et international. Elle met aussi à disposition des établissements d’enseignement supérieur et des organismes de recherche des informations facilitant le pilotage de la recherche. L’évaluation fournit enfin au grand public des informations sur les entités de recherche en France.

Le respect des standards internationaux

Les entités de recherche sont évaluées par des comités d’experts choisis parmi les « pairs » des évalués. Ces comités comprennent un représentant des personnels d’appui à la recherche. Ils incluent également des experts issus des instances d’évaluation nationales, autres que le Hcéres (CNU, CoNRS, etc.). Ces experts, pour faire partie du comité, signent préalablement une déclaration d’intérêt et un engagement de confidentialité.

L’évaluation respecte les principes d’indépendance, de collégialité, de transparence, d’équité de traitement. Elle est attentive aux liens d’intérêt et au respect des principes déontologiques garantissant l’impartialité de l’expertise. Elle comprend une phase contradictoire, au cours de laquelle les évalués peuvent faire connaître leur point de vue sur l’évaluation.

Un référentiel d’évaluation décliné en trois critères

Le référentiel d’évaluation des entités de recherche fixe les attendus relatifs aux contenus du rapport d’autoévaluation de l’entité de recherche, et en miroir, ceux relatifs au rapport d’évaluation externe produit par le comité d’experts. Il permet avant tout de préciser la façon dont des activités ou des résultats peuvent être caractérisés et mis en valeur en amont de l’évaluation qualitative par les pairs.

Ce référentiel décrit les trois critères d’évaluation retenus, qui couvrent l’ensemble des activités et des résultats des entités de recherche :

La qualité des produits et activités de recherche, incluant :
- La production de connaissance, le rayonnement et l’attractivité,
- Les interactions avec l’environnement économique, social, culturel, sanitaire,
- L’implication dans la formation par la recherche.
L’organisation et la vie de l’entité de recherche
La stratégie et le projet à cinq ans.

Les attentes concernant le contenu du rapport d’autoévaluation peuvent se résumer en une présentation :

de la politique scientifique de l’entité de recherche : ses missions, ses objectifs scientifiques et sa stratégie pour le contrat en cours ;
des thématiques et des domaines de recherche choisis : synthèse des actions entreprises pour atteindre les objectifs et les résultats obtenus ;
des évolutions éventuelles et les raisons qui les ont motivées.

L’entité réalise une analyse SWOT, adossée à son autoévaluation des activités passées. Cette analyse porte sur la stratégie et les perspectives scientifiques que l’entité envisage de mettre en œuvre dans l’avenir, au regard du type de recherche qu’elle a mené, de sa stratégie actuelle et des missions qui lui sont confiées.

Un jugement évaluatif sous forme d’appréciation textuelle

Les évaluations ne donnent pas lieu à une notation. Pour chaque critère évalué, les comités d’experts, après avoir indiqué les points forts, les points à améliorer et formulé des recommandations, rédigent une appréciation textuelle synthétique, qui tient lieu de jugement évaluatif.

Conformément à la loi de juillet 2013, en amont du lancement du processus d’évaluation (année N-1), les tutelles des unités doivent faire un choix quant à l’opérateur en charge de son évaluation : ce peut être le Hcéres, une autre agence reconnue, ou un processus organisé par l’établissement lui-même. Dans ces deux derniers cas, le courrier précise les modalités de validation par le Hcéres des procédures d’évaluation qui seront mises en œuvre.

Les étapes du processus d’évaluation réalisé par le DER

L’évaluation d’une entité de recherche se déroule en trois phases majeures :

Préparation de l’évaluation ;
Visite de l’entité de recherche ;
Production du rapport d’évaluation.

Si l’on se centre sur les étapes qui sont partagées entre le Hcéres et les évalués, le processus se décompose comme suit :

Présentation des modalités d’évaluation par le Hcéres sur site (année N-1) ;
Consultation du directeur de l’entité évaluée pour arrêter le choix de la/des date(s) de visite en concertation avec le président du comité d’experts pressenti ;
Dépôt du dossier d’autoévaluation, des fichiers excel de bilan et du projet scientifique (année N) ;
Arrêt du planning de la visite ;
Information des tutelles (universités, écoles, organismes de recherche, etc.) de l’unité sur la composition du comité et les dates arrêtées ;
Envoi à l’entité évaluée d’une liste de questions préparée par le comité d’experts et amendée par le conseiller scientifique ou le chargé de mission scientifique ;
Visite du comité d’experts ;
Envoi du rapport à l’entité évaluée et à sa(ses) tutelle(s) pour observations ;
Envoi du rapport dans sa version complète et définitive y compris les observations des tutelles au président de comité afin de recueillir son accord pour que sa signature figure sur le rapport ;
Le rapport définitif, signé par le(la) président(e) du comité et le président du Hcéres, assorti de la lettre d’observations générale est envoyé à la/aux tutelle(s), qui se charge(nt) de le communiquer à l’entité évaluée.
Une version résumée du rapport est mise en ligne sur le site web du Hcéres.

Du côté de l’entité de recherche évaluée

La préparation consiste à mettre en œuvre le processus d’autoévaluation. Une durée moyenne de 6 mois apparaît nécessaire pour rédiger un rapport d’autoévaluation transmis au comité d’experts par le Hcéres.

Une liste de « points d’attention », destinée au comité d’experts, peut être préparée par la ou les tutelles d’une entité et transmise au Hcéres.

La préparation de l’évaluation inclut les étapes suivantes :

Constitution du comité d’experts et vérification des potentiels liens d’intérêts auprès de l’entité évaluée et ses tutelles ;
Organisation des échanges entre membres du comité d’experts, afin de rédiger un premier état de leur rapport remis au Hcéres et d’établir une liste de questions/ demandes de précisions transmises à l’entité évaluée avant la visite ;
Organisation du planning des auditions libres et des huis-clos obligatoires durant la visite en concertation avec les tutelles et l’unité évaluée.

Le comité d’experts

Le comité d’experts est constitué en moyenne de 5 à 6 experts dont les compétences couvrent les divers champs thématiques et disciplinaires de l’entité. Ces experts peuvent être des représentants du monde de la recherche académique ou privée, française ou étrangère. Un expert est proposé par chaque instance d’évaluation des personnels des établissements dont relève l’unité évaluée (CoNRS, CNU, Commissions Scientifiques Spécialisées (CSS) de l'Inserm, de l’Inra, etc.). Parmi les experts constituant le comité, figure un représentant des personnels d’appui à la recherche.

La composition du comité d’experts est validée par l’entité évaluée (évitement de tout conflit d’intérêt). Le comité effectue un important travail de préparation à la visite, en s’appropriant divers documents fournis par l’entité évaluée et le Hcéres.

Le déroulement type d’une visite

La visite sur site, qui comprend une phase préparatoire permettant la concertation des experts, a pour but pour le comité de :

compléter son information, en recevant les réponses des évalués à ses questions ;
rencontrer les différents personnels de l’unité et les tutelles ;
visiter les installations (plateforme, animalerie, etc.) et de découvrir les ressources de l’entité en matériel.
Cette visite comprend :
une réunion plénière, ouverte aux membres de l’unité et aux observateurs (tutelles, etc.)
une série de huis clos : avec le directeur de l’entité et l’équipe de direction, avec les enseignants-chercheurs et les chercheurs, avec les personnels d’appui à la recherche, avec les doctorants, avec les tutelles.
une phase de délibération au cours de laquelle le comité jette les bases du rapport d’évaluation définitif et s’accorde en particulier sur les appréciations textuelles synthétiques.

Le comité d’experts est accompagné, au cours de la visite, d’un conseiller scientifique ou d’un chargé de mission scientifique, représentant du Hcéres, qui veille au bon déroulement de l’évaluation et au respect des procédures.

Les rapports d’évaluation

La production et la diffusion du rapport d’évaluation d’une entité de recherche reposent sur différentes étapes :

Une première version du rapport est rédigée de façon collégiale par le comité d’experts, sous la coordination et responsabilité du (de la) président(e) du comité ;
Cette première version est soumise à une relecture interne au Hcéres par les
- du conseiller scientifique (CS) ou du chargé de mission scientifique (CMS) qui a accompagné la visite,
- du conseiller scientifique coordinateur (CSC) du domaine concerné et du chargé de projet (CP) qui s’assurent de la prise en compte de la méthodologie, des règles rédactionnelles et déontologiques du Hcéres ;
Cette version provisoire du rapport est transmise à l’entité évaluée et ses tutelles qui envoient leurs observations et leurs demandes de corrections d’erreurs factuelles au Hcéres ;
La réponse de l’entité évaluée et de ses tutelles est étudiée par le CS ou le CMS avec le président du comité d’experts
Le rapport définitif, signé par le président du comité et le président du Hcéres, assorti de la lettre d’observations générale est envoyé à la(aux) tutelle(s), qui se charge(nt) de le communiquer à l’entité évaluée.
Une version résumée du rapport est mise en ligne sur le site web du Hcéres.

> Accéder aux résumés des rapports d’évaluation des entités de recherche

Les synthèses d’évaluation

Les rapports d’évaluation, dans une seconde phase, donnent lieu à des synthèses de site, pour les activités de recherche. Ces synthèses comprennent :

une partie "caractérisation", qui décrit :
- la ventilation des personnels par corps et par établissements,
- le degré d’implication des organismes sur le site.
une partie "analyse des résultats", qui synthétise, pour chaque entité de recherche, les résultats de son évaluation et dégage, par domaine disciplinaire, les points les plus remarquables sur la recherche du site.

Les retours d’expériences

L’amélioration continue des procédures d’évaluation des entités de recherche est rendue possible par l’organisation de retours d’expérience sous forme de questionnaires envoyés aux directions des établissements des entités de recherche évaluées, aux directeurs d’unité eux-mêmes, aux présidents des comités d’évaluation et aux conseillers/chargés de mission scientifiques.

Sciences et technologie (ST)

Sciences de la vie et de la terre (SVE)

Sciences humaines et sociales (SHS)

Liste des revues et des produits de la recherche Hcéres

600

entités de recherche évaluées en moyenne par an
2500

experts mobilisés en moyenne par an

Contact

Département d’évaluation de la recherche

2 rue Albert Einstein
75013 Paris

Courriel