Indicateurs et méthodes

Les bases de données dont dispose l’Observatoire des sciences et techniques (OST) du Hcéres permettent de calculer des indicateurs qui nourrissent des analyses et des publications spécifiques comme le Rapport sur la position scientifique de la France, ou annuelles comme les synthèses destinées à la publication « L’état de l’Enseignement supérieur et de la Recherche » du Ministère de l’enseignement supérieur, de la recherche et de l’innovation (MESRI).
Les indicateurs produits par l’OST servent à différents niveaux. Ils permettent par exemple de décrire la position scientifique de la France dans le monde. Ils peuvent servir aux établissements pour élaborer leur stratégie ou alimenter leur processus d’autoévaluation. Ils alimentent enfin diverses productions du ministère chargé de l’enseignement supérieur, de la recherche et de l’innovation.
L’OST s’emploie par ailleurs à adapter en permanence ses méthodes et les bases sur lesquelles il s’appuit en se référant aux meillieures pratiques internationales.

Part mondiale des publications

La part mondiale de publications d’un pays est le rapport entre le nombre de publications du pays et le nombre de publications produites dans le monde. Les publications d’un pays sont celles dont l’un au moins des laboratoires signataires est situé dans ce pays.

Pour cet indicateur, comme pour les suivants, il est possible d’utiliser des comptes fractionnaires lorsqu’une même publication peut être rattachée à plusieurs pays : le poids de la publication pour un même pays est alors divisé par le nombre de pays différents parmi les signataires. De la sorte, le nombre de publications total, obtenu par agrégation des comptes fractionnaires des différents pays, reste bien celui des publications observées dans le monde.

Indice d’impact

L’indice d’impact observé d’un pays (ou d’une structure) est le rapport entre sa part mondiale de citations observées à 2 ans et sa part mondiale de publications. L’indice d’impact est bien souvent normalisé par spécialité afin de tenir compte de la structure disciplinaire de chaque pays.

L’indice d’impact espéré d’un pays est l’indice qu’obtiendrait le pays si ses publications étaient citées comme attendu c’est-à-dire comme la moyenne des publications des journaux dans lesquels il publie (il est ainsi tenu compte de la notoriété des journaux).

Indice de spécialisation scientifique

L’indice de spécialisation d’un pays dans une discipline est le rapport entre la part mondiale de publications d’un pays dans cette discipline et sa part mondiale toutes disciplines.

Part d’un pays dans l’ensemble des demandes de brevets obervées pour un même office

La part d’un pays dans l’ensemble des demandes de brevets pour un même office (par exemple Office Européen des Brevets - OEB) est le rapport entre le nombre de demandes de brevets du pays et le nombre total de demandes de brevets constatés pour ce même office.

La plupart des indicateurs font référence à la date de publication des demandes de brevet (18 mois après la date de premier dépôt pour l’OEB mais jusqu’à 3 à 5 ans après la demande pour l’office américain) et à l’adresse de l’inventeur.

Indice de spécialisation technologique

Par analogie avec les publications, l’indice de spécialisation technologique d’un pays est le rapport entre la part mondiale du pays dans un domaine technologique et la part mondiale du pays tous domaines confondus.

Autres indicateurs

Le cas échéant d’autres indicateurs peuvent être calculés (classe de citation, indicateurs de copublications…).

Programme IPERU

Des "indicateurs de production des établissements de recherche universitaire – IPERU" sont fournis aux établissements du programme "Formations supérieures et recherche universitaire" de la LOLF. Le programme IPERU contribue :

  • au pilotage de ces établissements  (universités, INSA, écoles normales supérieures,..) ;
  • à la production d’indicateurs pour les documents budgétaires préparés par le Ministère de l’Enseignement supérieur, de la Recherche et de l’Innovation (MESRI).

Les indicateurs IPERU servent à caractériser les productions scientifiques et technologiques des établissements, suivre leur évolution et les positionner dans des espaces territoriaux de référence. Ils s’appuient sur trois sources de données :

  • les publications ;
  • les brevets ;
  • les participations aux projets du programme-cadre de recherche et d'innovation de l’Union européenne.

Des rapports individuels d’indicateurs sont fournis annuellement aux établissements. Un rapport sur le positionnement relatif de groupes d’établissements d’enseignement supérieur et de recherche dans l’espace mondial des publications est aussi remis. 

Indicateurs pour la Loi Organique relative aux Lois de finances (LOLF)

Avec l’application de la LOLF, le budget de l’État est organisé en missions, programmes et actions qui visent à rendre compte de la mise en œuvre des grandes politiques publiques. Chaque programme comporte une stratégie, des objectifs et des indicateurs de performance. Représentation chiffrée, ces derniers mesurent la réalisation des objectifs.

Depuis 2005, l’OST produit une partie des indicateurs des documents budgétaires (projets annuels de performance - PAP et – rapports annuels de performance - RAP) de plusieurs programmes de la mission interministérielle pour la recherche et l’enseignement supérieur (MIRES) ainsi que pour le Commissariat Général au Développement Durable (CGDD) du ministère de la transition écologique et solidaire.

Les indicateurs portent sur :

  • les publications scientifiques des opérateurs des divers programmes. Elles sont recensées dans la base de données de l’OST, développée à partir du Web of Science® de Clarivate Analytics (base de référence des publications internationales) ;
  • la participation à la construction de l'espace européen de la recherche en mesurant la participation aux projets des programmes-cadres de recherche et d'innovation (PCRI) de l’Union européenne.

Un périmètre d’opérateurs de tailles et de missions variées :

Les indicateurs concernent les programmes LOLF suivants :

  • Programme P150 : Formations supérieures et recherche universitaire : les établissements d’enseignement supérieur sous tutelle du MESRI
  • Programme P172 : Recherches scientifiques et technologiques pluridisciplinaires : CEA (civil), CNRS, Inria, Inserm, Institut Curie, Instituts Pasteur Lille et Paris, BRGM, Irstea, Cirad, Ifremer, Inra, IRD
  • Programme P190 : Recherche dans les domaines de l’énergie, du développement et de la mobilité durables : CSTB, Ineris, IRSN, IFSTTAR, IFP Energies nouvelles
  • Programme P159 : Expertise, information géographique et météorologique : IGN et Météo France.
  • Programme P193 : Recherche spatiale (missions spatiales du CNES)

Méthodologie :

Dans le cadre des publications, les opérateurs concernés repèrent directement les adresses de leurs publications. L’OST réalise ensuite la consolidation du "méta-établissement" constitué par le programme LOLF concerné.

Dans le cas particulier du P193, le périmètre repose sur  la constitution du corpus de publications à partir d’une liste de mots-clés, d’un nettoyage du corpus par topic modelling, les thèmes étant validés par des experts de la recherche spatiale.

S’agissant des PCRI, l’OST identifie les participants aux programme-cadre selon leur nom puis réalise également la consolidation du "méta-établissement" constitué par le programme LOLF concerné.

Indicateurs fournis :

L’approche de la performance se traduit par des indicateurs :

  • de production mesurée à partir des publications scientifiques ;
  • d’impact mesuré à partir des citations ;
  • de collaboration mesurée à partir des copublications avec les 28 pays de l’Union européenne ou avec les pays du Sud ;
  • de participation à la construction de l’espace européen de la recherche, mesurée à partir des participations et des coordinations aux PCRI.

Selon les programmes, les indicateurs calculés peuvent varier légèrement. L’OST fournit ainsi :

  • pour la mission interministérielle pour la recherche et l’enseignement supérieur (MIRES) : des indicateurs de base sur la production scientifique et sur la participation aux PCRI . pour le Rapport sur les politiques nationales de recherche et de formations supérieures (Jaune ESR) :  des indicateurs sur la production scientifique et technologique de la France ainsi que sur les participations aux PCRI de la France et de ses principaux partenaires (Allemagne, Royaum-Uni, Espagne et Italie)
  • Consulter le site d’informations de référence sur les finances publiques 

Rapports Stratégie Territoriale de l’Enseignement Supérieur et de la Recherche (STRATER)

Le projet STRATER (diagnostics territoriaux) piloté par le MESRI propose une vision territoriale du système d'enseignement supérieur, de recherche et d‘innovation. Le ministère diffuse à l’attention de l'ensemble des acteurs impliqués, des fascicules régionaux pour lesquels l'OST fournit  des indicateurs sur l’activité de recherche et d’innovation.

Les indicateurs produits reposent sur trois corpus :

  • Les publications scientifiques recensées dans la base de données de l’OST développée à partir du Web of Science® de Clarivate Analytics (base de référence des publications internationales),
  • Les demandes de brevet européen recensées dans la base brevets de l’OST développée à partir de la base PATSTAT,
  • Les participations aux PCRI.

Une nomenclature géographique et institutionnelle adaptable aux besoins du MESRI

La nomenclature géographique et institutionnelle est actualisée selon les spécifications du ministère et correspond, selon les années,  à des régions, à des académies, ou encore dans un certain nombre de cas, aux COMUEs franciliennes.

L’OST construit des tableaux et graphiques d’indicateurs réutilisés dans les fascicules régionaux et élaborés à partir :

  • soit de nomenclatures géographiques existantes ;
  • soit de repérages existants ;
  • soit de travaux spécifiques.
  • En savoir plus sur STRATER