Colloque organisé par le Centre d’Alembert 13 & 14 mai 2009
ÉVALUATIONS DE LA RECHERCHE
ALLOCUTIONS D’OUVERTURE
Guy COUARRAZE, Président de l’Université Paris-Sud XI
Xavier CHAPUISAT, Directeur du Pôle de Recherche et d’Enseignement Supérieur (PRES – UniverSud)
Alexandre REVCOLEVSCHI, Vice-doyen, Directeur de la Division de la Recherche à la Faculté des Sciences d’Orsay
Jean-Michel LEFOUR, Directeur du Centre d’Alembert
HISTOIRE COMPARÉE DE L’ÉVALUATION DANS LA GESTION DE LA RECHERCHE PUBLIQUE ET PRIVÉE, FONDAMENTALE OU FINALISÉE
Séance animée par : Jean-Michel LEFOUR
Bertrand BELLON, Professeur émérite en sciences économiques, Université Paris-Sud XI
« Réflexions sur l’évaluation gestionnaire et l’évaluation scientifique »
Débat avec Bertrand BELLON
Présentation de B. Bellon
Texte
Résumé :
La communication se propose de préciser la nature et les acceptions du concept d’évaluation de la recherche, en tenant compte à la fois des évolutions actuelles des connaissances et des conditions de sa production.
Après une revue des différents « objets » à évaluer et de la diversité des angles d’observation, seront abordées les raisons qui justifient l’évaluation, la diversité des acteurs concernés, les modes opératoires ou usages chez quelques-uns de nos partenaires étrangers.
Philippe LAREDO, Directeur de recherche à l’Université Paris-Est (École des Ponts, Laboratoire Territoires, Techniques, Société) et Professeur à l’Université de Manchester
« L’évaluation par les pairs, quel rôle des organisations dans son déroulement et ses résultats »
Débat avec Philippe LAREDO
Présentation de P. Laredo
Résumé :
La place grandissante des appels à projets individuels ou collaboratifs dans le financement de la recherche académique met au-devant de la scène les procédures qui conduisent à la sélection des projets. Celles-ci jouent un rôle d’autant plus important que les taux de sélection sont très en deçà des normes implicites qui sous-tendaient ces systèmes jusqu’à récemment : moins de 10% pour les premiers appels de l’ERC, à peine 20% pour les récents appels de l’ANR (par exemple dans les nanos). Alors que politique publique nationale et positions organisées de chercheurs se rejoignent sur le fait que la part des programmes blancs doit devenir prépondérante, il me paraît important de s’interroger sur les procédures rarement discutées de sélection. L’argument que je propose tient à l’impact très important des choix organisationnels opérés pour évaluer et sélectionner les projets. Il soulignera les incohérences fortes qui par exemple sous-tendent le fonctionnement de l’ERC et ses objectifs de soutien de la « frontier science ». Des questions similaires se posent à propos des programmes blancs et de la priorité accordée aux recherches interdisciplinaires.
Philippe LAZAR, ancien Directeur général de l’INSERM et ancien Président de l’Institut de Recherche pour le Développement
« L’évaluation, un processus nécessairement diversifié, sélectif et engagé »
Débat avec Philippe LAZAR
Résumé :
Pourquoi ces trois qualificatifs ? Pour soutenir, sous divers angles, l’idée qu’il n’existe pas d’évaluation « absolue » de la recherche, qu’on ne peut porter en réalité que des jugements relatifs, établis en relation directe avec les processus décisionnels qui leur sont associés, ces processus étant eux-mêmes diversifiés selon la nature des « objets » évalués : personnes, projets, laboratoires, institutions… En d’autres termes, on ne peut dissocier une évaluation des suites que ses commanditaires comptent donner à ses résultats : elle engage formellement leur responsabilité.
Ces principes seront illustrés par le rappel des modalités d’évaluation naguère mises en place à l‘INSERM puis à l’IRD, qui permettront d’évoquer des procédures souvent à contre-courant des tendances actuelles.
Seront entre autres mentionnées les nécessaires distinctions à faire, en termes d’évaluation, entre la recherche, l’enseignement supérieur et l’ingénierie des savoirs ; la légitimité de la présence d’un nombre conséquent de représentants élus des personnels au sein des instances d’évaluation ; la nécessaire dissociation des carrières et des fonctions ; la justification d’un recrutement précoce et de longue durée de chercheurs « à plein-temps » ; la nécessaire limitation formelle de la durée de vie des « unités » de recherche ; la réduction actuelle du financement de la recherche par les instituts de recherche au profit de la très contestable Agence nationale de la recherche ; etc.
LES ACTEURS DE L’ÉVALUATION
Séance animée par : Jean-Claude VIAL & Sylvie FUROIS
Jean-François MELA, Mathématicien, Professeur émérite à l’Université Paris XIII, ancien chef de la Mission scientifique universitaire
« Réévaluation de l’évaluation. Qui évalue quoi et pourquoi ? »
Débat avec Jean-François MELA
Présentation de J-F. Mela
Résumé :
La recherche était en France l’affaire des organismes, avec un rôle secondaire pour les universités, chaque organisme évaluant ses unités et ses chercheurs, finançant et pilotant leurs recherches. Avec la montée en puissance des universités, la mise en place de la politique contractuelle a impliqué un processus universel d’évaluation des unités de recherche, ce qui a conduit aujourd’hui à autonomiser ce processus et à créer une agence nationale. Comment appréhender cette évolution, du point de vue de la composition et du fonctionnement des structures d’évaluation, de leur rôle, mais aussi en replaçant notre système dans le paysage international ?
Se pose également la question de la relation entre évaluation, financement et pilotage scientifique, dans des contextes assez différents (centralisation, autonomie, financement sur programmes…). Pas d’évaluation sans conséquences, mais quel partage des rôles entre les acteurs ? Quelles conséquences sur les critères d’évaluation et les modes de pilotage ? Quelle place pour l’auto-évaluation des établissements ?
Yves LANGEVIN, Directeur de L’Institut d’Astrophysique Spatiale, ancien Président de la Conférence des présidents du Comité national
« La pratique de l’évaluation dans la section Système Solaire et Univers Lointain du Comité national »
Débat avec Yves LANGEVIN
Présentation de Y. Langevin
Résumé :
La pression se fait de plus en plus forte au niveau politique pour mettre en place une « culture de la performance » adossée sur une « culture de l’évaluation ». Dans ce contexte, il est utile de présenter des informations sur la pratique de l’évaluation dans une section du Comité national, structure reconnue même par ses détracteurs comme la référence en la matière. Lors des quatre années du mandat 2004-2008 de la section 17 (« Système solaire et univers lointain »), l’expérience des jurys de concours, de l’évaluation régulière des chercheurs et des campagnes de promotions permet de démontrer le caractère irremplaçable de l’évaluation par les pairs, transparente, représentative et collégiale. Ce type d’évaluation qui constitue la norme internationale peut s’appuyer sur des éléments quantitatifs, en particulier la bibliométrie, mais ces outils ne peuvent en aucun cas s’y substituer. Un indicateur intégré comme le facteur H, fortement corrélé au nombre total de citations, est extrêmement réducteur. Il doit être complété par d’autres indices qui prennent mieux en compte la contribution spécifique d’un auteur. La bibliographie et la bibliométrie ne peuvent constituer qu’un élément d’appréciation parmi d’autres de l’impact des travaux de recherche au niveau international. Ce critère certes important doit être associé à d’autres critères, en particulier le rôle dans la communauté (responsabilités scientifiques ou en terme de gestion de la recherche), l’enseignement et la formation des jeunes chercheurs, la diffusion des connaissances ou la valorisation.
Francis-André WOLLMAN, Directeur de l’Institut de Biologie Physico-Chimique, Université Pierre et Marie Curie (Paris VI)
« L’évaluation scientifique des unités de recherche et des chercheurs : l’AERES a-t-elle amélioré le système ?»
Débat avec Francis-André WOLLMAN
Résumé :
Confier à une institution unique l’AERES, le mandat d’évaluation des activités scientifiques de toutes les institutions de recherche et laboratoires, apparaît comme un effort de normalisation des procédures d’évaluation. Normaliser, est-ce une contribution à plus d’équité dans le jugement scientifique, ou est-ce une simplification des critères de jugement suivant des indicateurs quantitatifs peu à même de saisir la singularité des efforts de recherche produits par des structures scientifiques par nature très diverses ?
Jean-Pierre FINANCE, Professeur d’informatique, Président de l’Université Henri Poincaré (Nancy I), ancien Président de la Conférence des Présidents d’Université
« Politique d’université et évaluation »
Débat avec Jean-Pierre FINANCE
Présentation de J-P. Finance
Résumé :
Pendant de nombreuses années, les universités françaises, fragiles regroupements de composantes ayant auparavant pignon sur rue (Ecoles, facultés, IUT), se sont contentées d’apporter un appui hésitant aux structures de recherche évaluées, labellisées et pilotées par des organismes de recherche dits nationaux.
Le dispositif de contractualisation quadriennal, la déclaration de Lisbonne et l’émergence de l’Espace Européen de la Recherche, la mise en place systématique des écoles doctorales, la création des pôles de recherche et d’enseignement supérieur (PRES) ont conduit à l’émergence de politiques de recherches au sein d’universités ou de groupes d’universités. La publication de la loi sur la liberté et la responsabilité des universités (LRU) a clairement mis en lumière la responsabilité et la compétence des universités en matière de politique scientifique.
Associant et articulant étroitement politique de formation et politique de recherche, l’université doit en effet être capable de construire une stratégie de recherche (renforcer les secteurs d’excellence, faire émerger les équipes et les thèmes prometteurs, favoriser la pluridisciplinarité …) et de la mettre en œuvre au travers des moyens d’actions dont elle dispose (recrutement et gestion des ressources humaines, allocation de moyens, structuration d’unités de recherche…).
Mais pour que de telles politiques puissent être conduites, il est nécessaire que les instances dirigeantes disposent d’éléments d’information objectifs sur la réalité du dispositif de recherche. En ce sens la création d’une agence indépendante de toutes structure opérationnelle (AERES), à la disposition des décideurs institutionnels, est un progrès incontestable au regard de la situation antérieure où évaluation et décision étaient réunis dans la même entité. Il n’en reste pas moins que la relation entre responsable d’établissement et structure d’évaluation est à préciser : qui passe commande ? quelles sont les méthodes utilisées ? qui prend les décisions ? comment sont gérés les partenariats entre établissements ? quel est le rôle de l’état ?
L’exposé abordera ces différentes questions dans un contexte de renforcement des politiques universitaires et d’une volonté de clarification des différents types de partenariats.
Bertrand CASTRO, Directeur Scientifique Affaires Industrielles Sanofi-Aventis
« L’évaluation de la R&D dans l’Industrie Pharmaceutique »
Débat avec Bertrand CASTRO
Présentation de B. Castro
Résumé :
On distinguera :
– L’évaluation des personnels
Pour l’embauche externe et la promotion interne, largement fondée sur le système hiérarchique.
– L’évaluation des Programmes de Recherche et des Projets de Développement
Les critères d’évaluation sont soit internes, liés à la stratégie de l’entreprise, à l’expertise disponible ou à acquérir, ainsi qu’au marché visé, soit externes, fixés au niveau des Etats par les autorités de santé (autorisation de mise sur le marché lié au statut d’industrie réglementée) et les autorités commerciales (Agences de brevets).
LA MÉTRIQUE DE L’ÉVALUATION
Séance animée par : Marie-Claude GAUDEL & Martin ANDLER
Michel BLANC, Directeur Général adjoint chargé de la Recherche, École Polytechnique, Palaiseau
« Métrique d’évaluation et politique scientifique des établissements »
Débat avec Michel BLANC
Présentation de M. Blanc
Résumé :
Avec la mondialisation progressive de l’offre de formation, de la circulation des enseignants-chercheurs et des étudiants, et des activités de recherche elles-mêmes, les classements internationaux d’Etablissements prennent qu’on le souhaite ou non de plus en plus d’importance, au point qu’ils deviennent un élément parmi les indicateurs utilisés par les Etablissements eux-mêmes pour évaluer et orienter leur politique scientifique.
Cependant les critères utilisés par les divers classements sont disparates, et font intervenir, selon le cas, des éléments non réductibles à la seule qualité scientifique, ou qui n’en sont qu’une image partielle.
On présentera un début d’analyse des différents critères utilisés, pour ouvrir le débat sur leur pertinence par rapport à ce qui, selon nous, devrait fonder une politique scientifique d’Etablissement.
Yves GINGRAS, Professeur, Chaire de recherche du Canada en histoire et sociologie des sciences UQAM
« Du bon usage de la bibliométrie »
Débat avec Yves GINGRAS
Présentation de Y. Gingras
Résumé :
Cet exposé vise à rappeler les distinctions souvent oubliées entre « bibliométrie » et « évaluation ». On discutera aussi de l’importance de bien construire des indicateurs de la recherche et de distinguer les niveaux d’analyse : individu, institution, région, pays.
Jean-Marc SCHLENKER, Professeur, Institut de mathématiques, Université Paul Sabatier (Toulouse III)
« Utilité et limites des indicateurs bibliométriques : l’exemple des mathématiques »
Débat avec Jean-Marc SCHLENKER
Présentation de J-M. Schlenker
Présention de J-M. Schlienker suite
Résumé :
Les pratiques bibliométriques varient largement d’une discipline à une autre. Il y a parmi les mathématiciens un consensus presque complet sur certaines limites des outils bibliométriques : leur utilisation pour l’évaluation individuelle des chercheurs est par exemple généralement rejetée. Par contre des données bibliométriques bien choisies peuvent être utiles pour les évaluations d’entités de taille suffisante, à condition d’être tempérées et corrigées par les avis d’experts scientifiquement compétents. Il est nécessaire pour cela d’utiliser des outils adaptés à la discipline et validés par les scientifiques.
L’utilisation de la bibliométrie conduit aussi à une question de pouvoir : les chercheurs craignent souvent de voir l’évaluation scientifique leur échapper, et d’être évalués par des outils bibliométriques mal conçus par des technocrates sans compétence disciplinaire. La qualité des indicateurs utilisés revêt une importance cruciale : de mauvais indicateurs, ou même une utilisation abusive d’indicateurs bien conçus, donnent aux chercheurs des incitations perverses et peuvent avoir un effet négatif important sur la qualité de la recherche.
Michel BEAUDOUIN-LAFON, Professeur à l’Université Paris-Sud XI, Directeur du Laboratoire de Recherche en Informatique
« Indices et classements : à qui profitent les chiffres ? »
Débat avec Michel BEAUDOUIN-LAFON
Présentation de M. Beaudouin-Lafon
Résumé :
L’objectif de cet exposé est de montrer les biais et les limitations des indices et classements qui ont depuis peu envahi le discours sur l’évaluation de la recherche. Je parlerai d’abord de leur fiabilité, c’est-à-dire des erreurs de mesure qui peuvent affecter leur calcul. Je parlerai ensuite de leur validité, c’est-à-dire de leur capacité à mesurer quelque chose d’intéressant et d’utile pour l’évaluation de la recherche. Je montrerai en particulier que la fiabilité et la validité sont affectées par un phénomène bien connu en sciences : le fait que l’observation et la mesure d’un système modifient ce système. Ainsi, les éditeurs scientifiques font la promotion d’indices d’impact qui sont d’abord favorables à leur modèle commercial, les institutions et les politiques défendent les classements qui servent leurs intérêts et les chercheurs savent très bien comment détourner les indices à leur avantage. Enfin, je montrerai par un argument statistique, l’omniprésence des lois de puissance, que le pouvoir prédictif de ces indicateurs concernant l’évaluation de la recherche est nécessairement limité. Je conclurai non pas par un rejet pur et simple de ces indicateurs, mais par des recommandations pour en faire un bon usage.
USAGES DE L’ÉVALUATION ET CONSÉQUENCES SUR LES PRATIQUES DE LA RECHERCHE
Séance animée par : Jean-Louis MARTINAND
Jean-Yves MERINDOL, Administrateur de l’École Normale Supérieure de Cachan, Président honoraire de l’Université Louis Pasteur (Strasbourg I)
« L’évaluation, pour qui ? »
Débat avec Jean-Yves MERINDOL
Présentation de J-Y. Mérindol
Résumé :
Les institutions ou personnes intéressées par les résultats de l’évaluation de la recherche, ou d’autres missions des établissements d’enseignement supérieur, sont nombreuses. L’Etat via divers ministères, le ministère qui alloue les dotations publiques de la recherche, les organismes de recherche, les collectivités locales, les établissements, leurs composantes, les directions des unités de recherche, les membres de ces unités, les universitaires susceptibles de vouloir collaborer avec ces unités, ceux qui espèrent y travailler, les doctorants et les futurs doctorants, les medias, a priori, tous sont, d’une façon ou d’une autre, des utilisateurs potentiels de l’évaluation.
Mais l’usage possible de ces évaluations dépend fortement de la nature de celle-ci, et de la façon dont elle est conduite, et c’est ce que l’on souhaite illustrer par quelques exemples.
Catherine PARADEISE, Sociologue, Professeure à l’Université Paris Est-LATTS et Présidente de l’IFRIS
« Dispositifs de jugement et appropriation de l’évaluation »
Débat avec Catherine PARADEISE
Présentation de C. Paradeise
Résumé :
La notion “d’excellence académique” est à l’ordre du jour. La littérature de politiques publiques s’est beaucoup penchée ces dernières années sur le recours à des instruments et indicateurs de jugement, de pilotage et de certification. Souvent avec un choix interprétatif majeur, qui y voit une « cage de fer » qui imposerait un seul modèle pour qui voudrait conquérir ou conserver la qualité d’où découle sa distinction. A l’inverse, on s’est finalement peu interrogé sur la façon dont les mesures d’excellence sont appropriées dans les espaces de production académique, ni sur la manière dont elles affectent leur travail d’organisation.
Ce papier est programmatique. Il propose de revenir sur quelques concepts issus de la littérature sociologique, qui permettent à mon sens de clarifier le débat sur les effets de l’évaluation en partant de l’analyse des comportements des acteurs dans des cadres de jugement évolutifs. On examinera quatre concepts utiles à cet effet : dispositifs de jugement de la qualité (Karpik), dimensions instrumentales et honorifiques de la réputation (Merton), ordres locaux (March), winner-take-all market (Frank).
On en déduira quelques propositions sur les conditions de pertinence des outils d’évaluation.
CLÔTURE
Jean-Claude VIAL, Directeur de recherche CNRS, IAS, Université Paris-sud (Paris XI)
Présentation de J-C. Vial
Synthèse du colloque par J-C. VIAL