Publication d'une étude sur les référentiels d'évaluation réalisée avec le Quality Audit Network

Après avoir accueilli l’édition 2023 du Quality Audit Network, le Hcéres a coordonné la réalisation d’une étude portant sur la conception et la révision des référentiels d’évaluation. « Institutional evaluation frameworks: design and review processes among the agencies of the Quality Audit Network » se fonde sur les pratiques de 16 agences d’assurance qualité européennes. 

Le Quality Audit Network est un réseau informel d’agences européennes réalisant des évaluations externes à l’échelle institutionnelle. Depuis sa création en 2008, plusieurs publications portant sur les tendances de l’évaluation institutionnelle ont été menées par le réseau. L’édition 2023 se focalise sur un outil essentiel de l’évaluation : le référentiel. Cette étude a été pilotée par le Hcéres, l’agence autrichienne AQ Austria, l’agence danoise AI et l’agence finlandaise FINEEC, avec la contribution de 12 autres agences du Quality Audit Network ayant répondu à l’enquête. 

Si les Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG) sont une référence commune pour toute agence européenne d’assurance qualité, ils ne constituent pas un canevas type pour tous les référentiels d’évaluation. C’est le premier constat de l’étude du Quality Audit Network. Une grande diversité a pu être observée sur la forme, la profondeur et la portée des référentiels utilisés par les agences, qui se placent tous sur un continuum entre référentiels « prescriptifs » et « ouverts ». Comment faire en sorte que l’évaluation s’adapte à l’entité évaluée si les mêmes critères sont appliqués à tous ? Plusieurs agences proposent ainsi des méthodologies flexibles où certains thèmes sont choisis par les experts ou par les établissements. Enfin, l’évaluation externe fixe-t-elle des critères minimaux ou accompagne-t-elle les établissements vers l’excellence ? Ces pistes de réflexion sont développées dans la première partie de l’étude portant sur la composition d’un référentiel d’évaluation institutionnel.

La seconde partie de l’étude explore les méthodes de révision des référentiels, qui sont régulièrement mis à jour afin de s’adapter aux évolutions du monde de l’enseignement supérieur dans une démarche « fit-for-purpose ». Quelles sont les parties prenantes sollicitées et comment sont-elles impliquées dans la révision du référentiel ? Les révisions apportées viennent-elles dans le sens d’un enrichissement du référentiel pour une meilleure prise en compte des enjeux de l’enseignement supérieur, ou plutôt vers une simplification ? Quels sont les avantages et les inconvénients d’élargir le périmètre de l’évaluation ?

Le séminaire QAN 2024 à Stockholm organisé par UKÄ où les résultats de l’étude ont été présentés pour la première fois.

Les implications pratiques de tels élargissements ont fait l'objet d'une discussion plus approfondie lors du séminaire QAN 2024 à Stockholm. Parmi les défis à relever figure le recrutement d'experts, car l'élargissement du périmètre de l’évaluation implique également l'élargissement des compétences des comités d'experts. Si l'ajout d'une nouvelle référence ou d'un nouveau critère dans un référentiel peut sembler anodin, il représente un défi pour les agences dans leurs efforts pour maintenir l'évaluation externe efficace et économe en temps et en coûts. Dagmar Provijn (NVAO Flanders) l’a bien résumé en conclusion du webinaire  « En cherchant à avoir des actions pertinentes, nous risquons de cesser de l'être. Comme les agences sont comme des escargots, à la traîne derrière les établissements, il faut maintenir un dialogue ouvert et les sujets importants seront mis en avant par les établissements eux-mêmes ».