Évaluation des coordinations territoriales

L’évaluation des coordinations territoriales, en accord avec les standards européens, responsabilise les établissements en leur demandant de faire la démonstration de leur capacité à maîtriser le pilotage de leurs missions.
  • Constituer/déposer son dossier d'autoévaluation

    Quand votre entité est-elle évaluée ? Que faut-il savoir et consulter pour constituer son dossier ? Où le déposer ? Quelles sont les dates clés à retenir ?

Une analyse institutionnelle centrée sur la gouvernance et le pilotage des missions

L’approche institutionnelle du DECT accompagne l’affirmation croissante de l’autonomie et de la responsabilité des établissements. Elle tient compte de la révision en 2015 des standards européens (ESG) en matière d’enseignement supérieur, qui place les établissements en position de responsabilité face au pilotage de leurs missions.

Le cœur de l’évaluation concerne l’analyse que l’établissement porteur de la coordination territoriale est capable de fournir, dans son autoévaluation, de sa trajectoire parcourue dans chacune des missions et activités de la coordination territoriale, en rapportant son positionnement en début de période d’évaluation avec celui en fin de période.

Un focus sur la politique qualité portée par la gouvernance et sur la qualité de son autoévaluation est également intégré à l’analyse évaluative.

Les évaluations sont assurées par des pairs, en collégialité, et dans le respect de la charte d’évaluation du Hcéres. Elles ne visent ni à comparer les coordinations territoriales les unes avec les autres, ni à les classer. Elles visent à les inciter à renforcer leur politique de la qualité, en développant leur pratique de l’autoévaluation, pour mettre en évidence leur maîtrise de leur pilotage et démontrer ainsi l’exercice de leurs responsabilités.

C’est à l’établissement en charge de la coordination territoriale qu’il revient d’apporter, dans son rapport d’autoévaluation, les preuves de ses réalisations durant la période soumise à évaluation et de sa capacité à mesurer l’efficacité et l’efficience de ses actions.

Une évaluation qui s’adapte aux spécificités de chaque coordination territoriale

Les coordinations territoriales présentent une grande diversité et leur paysage continue d’évoluer. L’évaluation  doit s’adapter à cette diversité et être réactive aux évolutions constatées sur le terrain. Cette adaptation ne remet toutefois pas en cause la nature ex-post de l’évaluation, qui porte un regard rétrospectif sur la coordination territoriale, pour mieux la préparer au projet qu’elle soutient.

La nature des missions et activités soumises à l’évaluation, le nombre et choix de profils du comité de pairs experts, la durée de la visite de l’établissement en charge de la coordination, le choix des interlocuteurs rencontrés pendant cette visite, constituent autant de facteurs s’adaptant au contexte de chaque évalué. 

Le référentiel : outil de dialogue entre évalué et évaluateur

Le référentiel d’évaluation des coordinations territoriales fixe les attendus relatifs aux contenus du rapport d’autoévaluation de la coordination territoriale, et en miroir, ceux relatifs au rapport d’évaluation externe produit par le comité de pairs experts.

Ces attendus sont fondamentalement de deux ordres :  

  • liés au fonctionnement institutionnel : les principales dimensions d’une institution sont analysées (positionnement et stratégie, organisation, gouvernance et dispositifs de pilotage) ; ces attendus sont déclinés dans les deux premiers domaines du référentiel. 

  • liés aux missions et activités de la coordination territoriale : le troisième domaine du référentiel, qui en décline les attendus, est rédigé de manière générique, de façon à s’adapter à la diversité des missions et activités que les coordinations territoriales peuvent porter (elles ne sont pas du tout uniformes sur ce plan).  

Le référentiel reflète le choix d’évaluer la capacité de l’établissement en charge de la coordination territoriale à adapter son organisation, sa gouvernance et ses outils de pilotage, aux orientations stratégiques qu’il s’est fixées.

La pratique de l’autoévaluation

L’autoévaluation peut apparaître comme un acte banal dans le monde de l’ESR, habitué à produire des bilans d’activité et des projets d’établissement. Mais c’est en fait un exercice assez difficile à réaliser, dépassant le catalogue des réalisations de l’établissement pour les inscrire dans une trajectoire de développement, orientée par des ambitions et des choix stratégiques, analysée d’un point de vue critique en dégageant des forces et faiblesses.

Les attentes concernant le contenu du rapport d’autoévaluation peuvent se résumer ainsi :  

  • l’explicitation de la méthode utilisée et des acteurs mobilisés pour la mise en œuvre de l’autoévaluation ; 

  • la présentation, par activité, de la stratégie institutionnelle poursuivie durant la période de référence soumise à évaluation, et des dispositifs mis en œuvre pour chaque activité ; 

  • l’explicitation des indicateurs de pilotage que la coordination territoriale a choisis pour chaque activité ; 

  • l’explicitation pour chaque activité des données que l’institution juge utiles à son évaluation externe ; 

  • un rapport focalisé sur des dimensions d’analyse critique et limitant les approches descriptives au minimum nécessaire à la compréhension de l’organisation des activités.

Conformément à la loi, en amont du lancement du processus d’évaluation (année N-1), la coordination territoriale reçoit un courrier lui demandant de faire son choix quant à l’opérateur en charge de son évaluation : ce peut être le Hcéres, une autre agence reconnue, ou un processus organisé par l’établissement lui-même. Dans ces deux derniers cas, le courrier précise les modalités de validation par le Hcéres des procédures d’évaluation qui seront mises en œuvre.

Les étapes du processus d’évaluation d’une coordination territoriale 

L’évaluation d’une coordination territoriale se déroule en trois étapes majeures :

  • Préparation de l’évaluation,
  • Visite de l’établissement,
  • Production du rapport d’évaluation.

Certains de ces étapes sont internes au Hcéres, d’autres sont partagées avec les acteurs de la coordination territoriale évaluée. Si l’on se centre sur celles qui sont partagées entre le DECT et les évalués, le processus se décompose comme suit :

  • Présentation des modalités d’évaluation par le Hcéres sur site (année N-1) ;
  • Consultation de la coordination territoriale pour choix des dates de visite, appel à proposition de profils d’experts pour le comité de visite ;
  • Dépôt du rapport d’autoévaluation, du document de présentation des axes stratégiques pour le contrat à venir et des annexes (année N) ;
  • Rencontre entre les principaux acteurs concernés du Hcéres et l’équipe de direction de la coordination territoriale pour recueillir l’expression de ses attentes vis-à-vis de l’évaluation et présenter les membres du comité d’experts, le cas échéant ;
  • Envoi à la coordination territoriale d’une lettre par le/la président/e du comité d’experts annonçant les principaux questionnements du comité ;
  • Organisation concertée DECT/coordination territoriale du planning des entretiens prévus pour la visite ;
  • Visite du comité d’experts ;
  • Envoi du rapport provisoire pour phase contradictoire avec la coordination territoriale ;
  • Envoi du rapport définitif à la coordination territoriale et sollicitation pour une lettre d’observations ;
  • Publication sur le site internet du Hcéres du rapport d’évaluation définitif, assorti d’une lettre d’observations produite par la coordination territoriale évaluée.

Du côté de la coordination territoriale

La préparation consiste à mettre en œuvre le processus d’autoévaluation. Une durée moyenne de 6 mois apparaît nécessaire pour rédiger un rapport d’autoévaluation à soumettre aux instances de la coordination territoriale pour approbation. Cette durée peut s’allonger dans le cas où une participation importante des acteurs de terrain au processus est attendue, au-delà des équipes de gouvernance et services associés.

Pour enrichir son rapport d’autoévaluation, l’OST propose à chaque coordination territoriale de lui présenter les résultats de l’analyse bibliométrique qu’il réalise pour chaque site. À cet effet, l’OST prend contact avec l’équipe de direction de la coordination territoriale à la suite de la présentation sur site des modalités d’évaluation par le Hcéres.

Du côté du Hcéres

La préparation de l’évaluation inclut les étapes suivantes :

  • Mise en place d’une équipe projet associant des représentants des différents départements d’évaluation du Hcéres, sous la coordination du binôme (conseiller/ère scientifique/chargé(e)e de projet) en charge de la coordination territoriale ;
  • Production de documents de caractérisation de la coordination territoriale ;
  • Constitution du comité d’experts et vérification des potentiels liens d’intérêts ;
  • Organisation d’une réunion du comité d’experts de préparation de l’évaluation, aboutissant à définir les principaux questionnements du comité vis-à-vis de la coordination territoriale ;
  • Organisation du planning des entretiens durant la visite en concertation avec la coordination territoriale.

Le comité d’experts

Le comité inclut entre 7 et 12 experts selon la taille et la complexité de la coordination territoriale évaluée. Ceux-ci sont désignés par le DECT, sur la base de propositions qui peuvent être formulées par l’équipe de direction de la coordination territoriale. La présidence du comité est confiée à un(e) expert(e) ayant une expérience de la gouvernance d’établissements ainsi qu’une bonne connaissance du système français de l’ESR, lorsqu’une personnalité étrangère est sollicitée.

Des profils type sont attendus dans un comité d’experts, leur équilibre final s’adaptant toutefois aux spécificités des missions de chaque coordination territoriale et aux attentes exprimées par les équipes de direction vis-à-vis de l’évaluation.

Les principaux profils sont les suivants :  

  • experts académiques (des personnalités assurant ou ayant assuré des fonctions de vice-présidence dans leur établissement sont privilégiées),  
  • experts en lien avec le monde socio-économique et/ou culturel,  
  • expert en matière de politique qualité,  
  • expert en matière de relations internationales,  
  • expert étudiant (avec des responsabilités locales ou nationales de préférence),  
  • experts administratifs.

Un équilibre entre hommes et femmes est recherché, un équilibre fonctionnel entre experts ayant déjà travaillé pour le Hcéres et experts novices également.  

La composition du comité d’experts est validée par l’établissement porteur de la coordination territoriale (évitement de tout lien d’intérêt). Le comité effectue un important travail de préparation à la visite, en s’appropriant divers documents fournis par la coordination territoriale et par le Hcéres.

Déroulement type d’une visite

Un(e) chargé(e) de projet, référent pour le Hcéres, accompagne le comité d’experts pour l’ensemble de l’évaluation et veille au respect des principes et des méthodes du Hcéres.

La visite de l’établissement comprend :

  • deux rencontres (début et fin de visite) avec le(la) président(e) de  l’établissement en charge de la coordination territoriale, qui présente la stratégie de son établissement et les résultats de son autoévaluation (début de visite) et répond à quelques questions complémentaires du comité d’experts (fin de visite) ; 
  • des entretiens individuels avec un panel d’acteurs et de parties prenantes de la coordination territoriale, parmi lesquels les membres et associés de la coordination territoriale, les collectivités territoriales et métropoles, les organismes de recherche impliqués, des responsables de services, des représentants des enseignants-chercheurs, personnels administratifs et techniques, étudiants, … 

Les entretiens sont réalisés en présence de la totalité du comité ou de sous-ensembles constitués d’au moins deux experts.

Des séquences à huis clos ponctuent la visite pour permettre aux membres du comité de partager l’ensemble des éléments recueillis durant les entretiens et les analyses associées, et d’élaborer les jugements évaluatifs qui constitueront l’ossature du rapport d’évaluation.

La production et la diffusion du rapport d’évaluation d’une coordination territoriale reposent sur différentes étapes :

  • Une première version du rapport est rédigée de façon collégiale par le comité d’experts, sous la coordination et responsabilité du/de la président/e du comité ;
  • Cette version du rapport est soumise à un comité de lecture interne au Hcéres, auquel participent le binôme en charge de la coordination territoriale évaluée, un/e conseiller/ère scientifique du DECT ou DEE, la cheffe de département et la directrice du DECT. Ce comité procède à des corrections de forme, repère principalement les jugements évaluatifs non argumentés ou insuffisamment étayés, les absences ou erreurs dans les sources citées à l’appui des analyses, et les incohérences éventuelles entre différentes parties du rapport ;
  • La version initiale du rapport est renvoyée, enrichie des observations et suggestions du comité de lecture, au/à la président/e du comité, pour suite à donner ;
  • La version provisoire du rapport est transmise à la direction de la coordination territoriale, pour la phase contradictoire (relevé d’erreurs, de jugements infondés, etc..) ;
  • Ces observations de la coordination territoriale sont transmises au/à la président/e du comité, pour prise en considération et corrections éventuelles ;
  • Le rapport définitif est à nouveau envoyé à la direction de la coordination territoriale, qui est invitée à produire une lettre d’observations qui sera rendue publique ;
  • Le rapport définitif, signé par le/la président/e du comité et le président du Hcéres, assorti de la  lettre d’observations de la coordination territoriale, sont publiés sur le site internet du Hcéres.

 

Retours d’expériences

L’amélioration continue des procédures d’évaluation du DECT est rendue possible par l’organisation de retours d’expérience sous forme de questionnaires envoyés aux directions des coordinations territoriales évaluées d’une part, aux présidents/tes et experts/tes des comités d’évaluation d’autre part. Par ailleurs, des retours d’expériences en "présentiel", au Hcéres, sont également mis en place.

  • 26
    coordinations territoriales (7 associations, 10 Comue) évaluées tous les 5 ans
  • 52
    rapports d'évalutaion externe et synthèse d'évaluation intégrée produits tous les 5 ans
  • 1000
    experts formés tous les 5 ans

Contact

Département d’évaluation des coordinations territoriales

2 rue Albert Einstein
75013 Paris

Logo du Hcéres