Évaluation des établissements

L’évaluation institutionnelle organisée par le Hcéres analyse la gouvernance et la politique de l’établissement en matière de recherche, de valorisation, de formation, de vie étudiante et de relations extérieures. Une attention particulière est portée à la politique qualité de l’établissement. Cette évaluation permet également de se prononcer sur la cohérence des axes stratégiques de l’établissement.
  • Constituer/déposer son dossier d'autoévaluation

    Quand votre entité est-elle évaluée ? Que faut-il savoir et consulter pour constituer son dossier ? Où le déposer ? Quelles sont les dates clés à retenir ?

Dans le contexte de l’autonomie et de la responsabilité de chaque établissement, l’évaluation institutionnelle organisée par le Hcéres porte les enjeux suivants :  

  • un périmètre de l’évaluation qui couvre toutes les activités de l’établissement (partenariats, recherche, valorisation, formation, parcours étudiant, internationalisation….) ;
  • une analyse des modes d’élaboration de la stratégie de l’établissement et de sa mise en œuvre opérationnelle ;
  • une analyse des mécanismes de gouvernance de l’établissement et de sa capacité à maîtriser le pilotage de ses activités, en lien avec sa stratégie et en appui sur une politique identifiée de la qualité ;
  • une analyse de la capacité de l’établissement à suivre et qualifier sa trajectoire au cours de la période de référence (la période soumise à l’évaluation, voir infra) dans ses différentes activités et à en déduire ses forces et faiblesses ;
  • une analyse de la cohérence globale des politiques d’établissement dans les différentes activités, respectant ses choix stratégiques.

L’évaluation doit permettre de se prononcer sur la capacité de l’établissement à se connaître, à fixer et suivre ses objectifs et à mettre en œuvre des actions d’amélioration.

L’évaluation est assurée par un comité d’experts, en collégialité, et dans le respect de la charte d’évaluation du Hcéres. Ces experts sont des pairs, qui ont une expérience de la gouvernance et du pilotage institutionnel. Tous les rapports d’évaluation sont accessibles au public : ils permettent aux tutelles, aux partenaires d’un établissement (collectivités territoriales, partenaires du monde socio-économique…) ou aux usagers de disposer d’informations sur les établissements suivant un plan identique pour tous les établissements.

L’évaluation des établissements peut être réalisée selon des procédures adaptées (comité d’experts réduit, visites allégées, etc.) en fonction des spécificités des établissements, notamment en termes de missions et de champ d’activité. Si la méthodologie est adaptée,  le cadre défini par le référentiel établissement Hcéres reste commun à toutes les évaluations d’établissement.

Le département d’évaluation des établissements (DEE) expérimente des adaptations méthodologiques de type « coordonnée » ou « conjointe », en partenariat interne ou externe au Hcéres. Ainsi, les évaluations des écoles d’architectures (ENSA) sont effectuées de manière conjointe avec le département d’évaluation des formations du Hcéres et certains organismes peuvent être évalués de manière coordonnée avec le  département d’évaluation de la recherche. Enfin, les évaluations de certaines écoles d’ingénieurs sont réalisées en coordination avec la CTI.

Un référentiel d’évaluation décliné en 5 dimensions clés

Le référentiel d’évaluation externe des établissements fixe le périmètre de l’évaluation, les attendus relatifs aux contenus du rapport d’auto-évaluation et les critères que le comité de pairs experts mettra en œuvre pour évaluer le niveau de réponse de l’établissement.

Ce référentiel s’articule autour de cinq dimensions clés :

Le positionnement institutionnel : l’établissement identifie son positionnement au regard de ses missions et de ses valeurs dans l’espace de l’enseignement supérieur, de la recherche et l’innovation ;

  • La stratégie institutionnelle : l’établissement porte une stratégie institutionnelle au regard de ses missions, de son positionnement et de ses engagements ;
  • L’organisation : elle correspond aux choix structurels d’organisation interne faits par l’établissement pour assurer ses missions et la mise en œuvre de sa stratégie ;
  • La gouvernance : elle inclut l'ensemble des instances, des mesures, des règles et circuits de décision au service de l’élaboration et de la conduite de la stratégie de l’établissement. La gouvernance de l’établissement articule la sphère politique et la sphère administrative et mobilise la politique de la qualité ;
  • Le pilotage : il se traduit par les méthodes et outils de management utilisés par l’établissement pour la mise en œuvre opérationnelle de sa stratégie. Cela inclut le système d’information utilisé pour assurer le suivi des activités et l’aide au pilotage, la mobilisation pluriannuelle des ressources humaines et matérielles dans toutes les activités.

La pratique de l’autoévaluation

L’évaluation externe se fonde sur le rapport d’autoévaluation produit par l’établissement où sa capacité d’auto-analyse est un élément fondamental pour les experts. Ces derniers peuvent, à partir des éléments de preuve produits et analysés, apprécier la maturité de l’institution en matière d’autoévaluation ainsi que son niveau de responsabilité et d’autonomie pour la conduite de sa stratégie institutionnelle.

Les attentes concernant le contenu du rapport d’auto-évaluation peuvent se résumer ainsi :

  • l’explicitation de la méthode utilisée et des acteurs mobilisés pour la mise en œuvre de l’autoévaluation ;
  • la présentation, par activité, de la stratégie institutionnelle poursuivie durant la période de référence soumise à évaluation, et des dispositifs mis en œuvre pour chaque activité ;
  • l’explicitation des indicateurs de pilotage que la coordination territoriale a choisis pour chaque activité ;
  • l’explicitation pour chaque activité des données que l’institution juge utiles à son évaluation externe ;
  • un rapport focalisé sur des dimensions d’analyse critique et limitant les approches descriptives au minimum nécessaire à la compréhension de l’organisation des activités.

L’évaluation d’un établissement se déroule en trois étapes majeures : préparation de l’évaluation, visite de l’établissement, production du rapport d’évaluation.  

Certaines de ces étapes sont internes au Hcéres ; d’autres sont partagées avec les acteurs de l’établissement évalué. Le processus se décompose comme suit :

  • Présentation des modalités d’évaluation par le Hcéres sur site (année N-1) ;
  • Publication du référentiel d’évaluation et des documents de référence à consulter et déposer par les entités évaluées ;
  • Dépôt du rapport d’autoévaluation ; 
  • Constitution du comité d’experts ;
  • Rencontre avec l’établissement et consultation du responsable d’établissement sur la composition du comité d’expert ;
  • Visite du comité d’experts ;
  • Envoi du rapport provisoire pour phase contradictoire avec l’établissement ;
  • Envoi du rapport définitif à l’établissement et sollicitation pour une lettre d’observations ;
  • Publication sur le site internet du Hcéres du rapport d’évaluation définitif, assorti d’une lettre d’observations produite par l’établissement évalué.

Du côté de l’établissement : l’autoévaluation

La préparation revient à mettre en œuvre le processus d’autoévaluation. Une durée moyenne de 6 mois apparaît nécessaire pour rédiger un rapport d’autoévaluation à soumettre aux instances de l’établissement pour approbation.

Du côté du Hcéres

La préparation de l’évaluation inclut les étapes suivantes :

  • Mise en place d’une équipe projet (chargé de projet/conseiller scientifique) ;
  • Production de documents de caractérisation de l’établissement ;
  • Constitution du comité d’experts et vérification des potentiels liens d’intérêts ;
  • Organisation d’une réunion du comité d’experts de préparation de l’évaluation, aboutissant à définir les principaux questionnements du comité vis-à-vis de l’établissement ;
  • Organisation du planning des entretiens durant la visite en concertation avec l’établissement.

À propos du comité d’experts

Le comité inclut entre 4 et 10 experts selon la taille et la complexité de l’établissement. Ceux-ci sont désignés par le Hcéres, sur la base de propositions, le cas échéant, émanant de l’équipe de direction de l’établissement, qui aura été sollicitée à ce sujet. La présidence du comité est confiée à un(e) expert(e) ayant une expérience de la gouvernance d’établissements, ainsi qu’une bonne connaissance du système français de l’ESR lorsqu’une personnalité étrangère est sollicitée.

Des profils type sont attendus dans un comité d’experts, leur équilibre final s’adaptant toutefois aux spécificités des missions de chaque établissement, ainsi qu’aux attentes exprimées par les équipes de direction vis-à-vis de l’évaluation. Les principaux profils sont les suivants :

  • experts académiques (des personnalités assurant ou ayant assuré des fonctions de vice-présidence dans leur établissement sont privilégiées),  
  • experts en lien avec le monde socio-économique et/ou culturel, expert en matière de politique qualité, expert en matière de relations internationales,  
  • expert étudiant (avec des responsabilités locales ou nationales de préférence), experts administratifs.

Un équilibre entre hommes et femmes est recherché, un équilibre fonctionnel entre experts ayant déjà travaillé pour le Hcéres et experts novices également.

Le comité d’experts doit être validé par l’établissement évalué  pour prévenir tout lien d’intérêt. Le comité d’experts effectue un important travail de préparation à la visite, en s’appropriant divers documents fournis par l’établissement et par le Hcéres.

Déroulement type d’une visite

Un chargé de projet, référent pour le Hcéres, accompagne le comité d’experts pour l’ensemble de l’évaluation et veille au respect des principes et des méthodes du Hcéres.

La visite de l’établissement comprend :

  • deux rencontres (début et fin de visite) avec le président ou le directeur, qui présente la stratégie de son établissement et les résultats de son auto-évaluation (début de visite) et répond à quelques questions complémentaires du comité d’experts (fin de visite) ;
  • des entretiens individuels avec un panel d’acteurs et de parties prenantes de l’établissement, parmi lesquels des représentants de la coordination territoriale de rattachement le cas échéant, les collectivités territoriales et métropoles, les organismes de recherche impliqués, des responsables de services, des représentants des enseignants-chercheurs, personnels administratifs et techniques, étudiants, …

Les entretiens sont réalisés en présence de la totalité du comité ou de sous-ensembles constitués d’au moins deux experts. Des séquences à huis clos ponctuent la visite pour permettre aux membres du comité de partager l’ensemble des éléments recueillis durant les entretiens et les analyses associées, et d’élaborer les jugements évaluatifs qui constitueront l’ossature du rapport d’évaluation.

La production et la diffusion du rapport d’évaluation d’un établissement reposent sur différentes étapes :  

  • Une première version du rapport est rédigée de façon collégiale par le comité d’experts, sous la coordination et responsabilité du/de la président/e du comité ;
  • Cette version du rapport est soumise à un comité de lecture interne au Hcéres, Ce comité procède à des corrections de forme, repère principalement les jugements évaluatifs non argumentés ou insuffisamment étayés, les absences ou erreurs dans les sources citées à l’appui des analyses, et les incohérences éventuelles entre différentes parties du rapport ;
  • La version initiale du rapport est renvoyée, enrichie des observations et suggestions du comité de lecture, au/à la président/e du comité ;
  • La version provisoire du rapport est transmise à la direction de l’établissement, pour la phase contradictoire (relevé d’erreurs, de jugements infondés, etc..) ;
  • Ces observations de l’établissement sont transmises au/à la président/e du comité, pour prise en considération et corrections éventuelles ;
  • Le rapport définitif est à nouveau envoyé à la direction de l’établissement, qui est invitée à produire une lettre d’observations qui sera rendue publique ;
  • Le rapport définitif, signé par le/la président/e du comité et le président du Hcéres, assorti de la lettre d’observations de l’établissement, sont publiés sur le site internet du Hcéres.

 

Retours d’expériences 

L’amélioration continue des procédures d’évaluation du DEE est rendue possible par l’organisation de retours d’expérience sous forme de questionnaires envoyés aux directions des établissements évalués d’une part, aux présidents/tes et experts/tes des comités d’évaluation d’autre part.  Par ailleurs, des retours d’expériences en "présentiel", au Hcéres, sont également mis en place.