Évaluations des organismes de recherche

L’évaluation institutionnelle, organisée par le Hcéres, doit permettre de se prononcer sur la capacité de l’organisme à élaborer sa stratégie, à la mettre en œuvre en son sein par une organisation adaptée, à se doter d’outils de pilotage et de suivi de ses activités et à réajuster éventuellement sa stratégie. Elle est un outil de dialogue indispensable à la mise en place du contrat entre l’État et l’organisme.

Il est à noter que l’évaluation des entités de recherche est organisée par le département d’évaluation de la recherche du Hcéres. L’évaluation institutionnelle se focalise sur l’analyse de la trajectoire parcourue par l’organisme au cours de ses dernières années d’exercice, notamment sur la conduite des politiques de développement des activités et des cycles d’amélioration continue associés au regard de la stratégie déployée. L’évaluation repose sur un référentiel générique adapté au cas par cas et est  assurée par un comité d’experts, en collégialité, et dans le respect de la charte d’évaluation du Hcéres. Ces experts sont des pairs, qui ont une expérience de la gouvernance et du pilotage institutionnel.

Tous les rapports d’évaluation sont accessibles au public : ils permettent aux tutelles et aux partenaires de l’organisme (collectivités territoriales, partenaires du monde socio-économique…) de disposer d’informations sur les organismes suivant un plan identique pour tous les organismes.

Un référentiel d’évaluation décliné en 3 grands domaines

Le référentiel d’évaluation externe des organismes de recherche constitue le document méthodologique majeur. Il est structuré en trois grands domaines relatifs :

• au positionnement et à la stratégie institutionnels de l’organisme, au regard de ses missions et de ses compétences dans le paysage national et international de l’ESRI ; 
• à la gouvernance et au pilotage de l’organisme : organisation interne de l’établissement, gouvernance au service de l’élaboration et de la conduite de la stratégie, pilotage en appui de la mise œuvre opérationnelle du projet stratégique ; 
• aux activités de l’organisme : pilotage et suivi des activités de l’organisme, trajectoire suivie par l’organisme.

La pratique de l’autoévaluation

L’évaluation externe se fonde sur le rapport d’autoévaluation produit par l’organisme où sa capacité d’auto-analyse est un élément fondamental pour les experts. Ces derniers peuvent, à partir des éléments de preuve produits et analysés, apprécier la maturité de l’institution en matière d’auto-évaluation ainsi que son niveau de responsabilité et d’autonomie pour la conduite de sa stratégie institutionnelle.

Les attentes concernant le contenu du rapport d’autoévaluation peuvent se résumer ainsi :

• l’explicitation de la méthode utilisée et des acteurs mobilisés pour la mise en œuvre de l’autoévaluation ;
• la présentation, par activité, de la stratégie institutionnelle poursuivie durant la période de référence soumise à évaluation, et des dispositifs mis en œuvre pour chaque activité ;
• l’explicitation des indicateurs de pilotage que l’organisme de recherche a choisis pour chaque activité ;
• l’explicitation pour chaque activité des données que l’institution juge utiles à son évaluation externe ;
• un rapport focalisé sur des dimensions d’analyse critique et limitant les approches descriptives au minimum nécessaire à la compréhension de l’organisation des activités.

Le calendrier d’évaluation d’un organisme de recherche est fixé en concertation avec les ministères en charge de la contractualisation. L’organisme est contacté par le Hcéres 20 mois avant la période d’évaluation fixée pour choisir son évaluateur : le Hcéres ou une autre instance pour laquelle le Hcéres s’assure de la qualité des évaluations réalisées en validant les procédures retenues. L’évaluation d’un organisme se déroule en trois étapes majeures : préparation de l’évaluation, visite de l’organisme, production du rapport d’évaluation.

Certaines de ces étapes sont internes au Hcéres ; d’autres sont partagées avec les acteurs de l’organisme évalué. Le processus se décompose comme suit :  

• Présentation des modalités d’évaluation par le Hcéres environ 18 mois avant la visite du comité d’experts ; 
• Publication du référentiel d’évaluation et des documents de référence à consulter et déposer par les organismes évalués ; 
• Consultation du responsable de l’organisme sur la composition du comité d’experts ; 
• Dépôt du rapport d’auto-évaluation par l’organisme ; 
• Rencontre avec l’organisme pour recueillir ses attentes ; 
• Constitution du comité d’experts ; 
• Visite du comité d’experts ; 
• Envoi du rapport provisoire pour phase contradictoire avec l’organisme ; 
• Envoi du rapport définitif à l’organisme et sollicitation pour une lettre d’observations.  
• Publication sur le site internet du Hcéres du rapport d’évaluation définitif, assorti d’une lettre d’observations produite par l’organisme évalué.

Du côté de l’organisme

La préparation revient à mettre en œuvre le processus d’autoévaluation. Une durée moyenne de 6 mois apparaît nécessaire pour rédiger un rapport d’auto-évaluation à soumettre aux instances de l’organisme pour approbation.

Du côté du Hcéres

La préparation de l’évaluation inclut les étapes suivantes :

• Mise en place d’une équipe projet (chargé de projet/conseiller scientifique) ; référente de l’organisme, notamment pour la préparation de l’évaluation ; 
• Production de documents de caractérisation de l’organisme ; 
• Constitution du comité d’experts et vérification des potentiels liens d’intérêts ; 
• Organisation d’une réunion de formation des experts à la méthodologie d’évaluation définie par le Hcéres ; 
• Organisation d’une réunion du comité d’experts de préparation de l’évaluation aboutissant à définir les principaux questionnements du comité vis-à-vis de l’évaluation de l’organisme ; 
• Organisation du planning des entretiens de la visite en concertation avec l’organisme.

À propos du comité d’experts

Le comité inclut entre 4 et 10 experts selon la taille et la complexité de l’organisme. Ceux-ci sont désignés par le DEE, sur la base de propositions, le cas échéant, émanant de l’équipe de direction de l’organisme, qui aura été sollicitée à ce sujet.

La présidence du comité est confiée à un(e) expert(e) ayant une expérience de la gouvernance d’établissements, ainsi qu’une bonne connaissance du système français de l’ESR lorsqu’une personnalité étrangère est sollicitée.

Des profils type sont attendus dans un comité d’experts, leur équilibre final s’adaptant toutefois aux spécificités des missions de chaque organisme, ainsi qu’aux attentes exprimées par les équipes de direction vis-à-vis de l’évaluation.

Les principaux profils sont les suivants :

• experts académiques (des personnalités assurant ou ayant assuré des fonctions de vice-présidence ou de direction scientifique dans leur établissement sont privilégiées),  
• experts en lien avec le monde socio-économique et/ou culturel,  
• experts en matière de politique qualité, experts en matière de relations internationales, éventuels experts étudiants (avec des responsabilités locales ou nationales de préférence),
• experts administratifs.  

Un équilibre entre hommes et femmes est recherché, un équilibre fonctionnel entre experts ayant déjà travaillé pour le Hcéres et experts novices également.

Le comité d’experts doit être validé par l’organisme évalué  pour prévenir tout lien d’intérêt. Le comité d’experts effectue un important travail de préparation à la visite, en s’appropriant divers documents fournis par l’organisme et par le Hcéres.

Déroulement type d’une visite

Un(e) chargé(e) de projet, référent pour le Hcéres, accompagne le comité d’experts pour l’ensemble de l’évaluation et veille au respect des principes et méthodologies du Hcéres.  

La visite de l’organisme comprend :

• deux rencontres (début et fin de visite) avec le président(e) ou le directeur, qui présente la stratégie de l’organisme et les résultats de l’auto-évaluation (début de visite) et répond à quelques questions complémentaires du comité d’experts (fin de visite) ; 
• des entretiens individuels avec un panel d’acteurs et de parties prenantes de l’organisme, parmi lesquels des représentants des principaux partenaires de l’organisme, les collectivités territoriales et métropoles, des responsables de services, des représentants des chercheurs, personnels administratifs et techniques, doctorants, etc. 

Les entretiens sont réalisés en présence de la totalité du comité ou de sous-ensembles constitués d’au moins deux experts. Des séquences à huis clos ponctuent la visite pour permettre aux membres du comité de partager l’ensemble des éléments recueillis durant les entretiens et les analyses associées, et d’élaborer les jugements évaluatifs qui constitueront l’ossature du rapport d’évaluation.