Le fameux classement de Shanghaï des universités a été publié comme chaque année au mois d’août. On apprend que le trio de tête est constitué, comme toujours, de Harvard, Stanford et Cambridge, et que les universités Paris-Sud et de la Sorbonne occupent les 37e et 44e positions. Ce classement est critiqué de toute part, sauf bien sûr par les universités qui sont bien placées. Il est peut-être utile d’expliquer comment il est construit, pour montrer à quel point il n’a guère de sens.
Dans un premier temps, l’ARWU (Academic Ranking of World Universities) évalue cinq « indicateurs » pour chaque université. Il s’agit du nombre de lauréats du prix Nobel ou de la médaille Fields qui y travaillent, du nombre d’anciens étudiants ayant reçu ces mêmes honneurs, du nombre total d’articles publiés, de ceux qui sont publiés dans les deux revues Nature et Science, et enfin du nombre de chercheurs « très cités ».
Chacun de ces indicateurs pose problème. Par exemple, la liste des chercheurs les plus cités recense 90 mathématiciens, dont 16 signent leurs articles… en Arabie saoudite. En revanche, on ne trouve aucun mathématicien français dans cette liste. Sans être chauvin, cela n’a aucun sens.
Bien entendu, ces cinq indicateurs privilégient les gros établissements et ne laissent que peu de chances aux petits, même s’ils sont excellents. Pour essayer de remédier à cela, on utilise un sixième indicateur qui est une espèce de moyenne des précédents, divisée par le nombre total de chercheurs dans l’université.
Comme au décathlon
La cerise sur le gâteau est la formule utilisée pour agréger tout cela et fabriquer un classement global. Le « score » attribué à une université est une moyenne des racines carrées des six indicateurs, affectées de certains coefficients. Vous avez bien lu : il s’agit d’une moyenne des racines carrées. Pour comprendre l’idée, on peut se référer au décathlon. Comment fait-on pour agréger les résultats d’un sportif dans dix disciplines aussi différentes que le saut en hauteur et le lancer de poids ? La solution consiste à commencer par transformer chacune des dix performances d’une certaine façon, spécifique à chaque discipline, avant de calculer des moyennes. Un progrès de 1 cm au saut en hauteur vous fera gagner beaucoup plus de points si vous sautez 2,45 m (record du monde) que si vous ne sautez « que » 1,50 m. Pour une université qui emploie déjà beaucoup de Prix Nobel, il est en revanche plus facile d’en recruter un de plus que pour une université qui n’en a aucun. Afin de tenir compte de ce fait, l’ARWU n’a pas cherché très loin et a décidé de transformer tous les indicateurs de la même manière et d’utiliser la racine carrée.
Il y a au moins deux différences entre les universitaires et les décathloniens. Tout d’abord, il y a eu dans le passé de nombreux débats parmi les sportifs sur ce que doit être une bonne formule. Rien de tel n’a eu lieu parmi les universitaires, et le choix arbitraire de la racine carrée laisse pantois. Par ailleurs, un décathlonien participe à une compétition qu’il a librement choisie et dont il connaît les règles. Ce n’est pas le cas des universités, qui n’ont pas la mission de suivre des règles imposées unilatéralement par un institut chinois qui promeut les racines carrées.
L’ARWU établit aussi des classements mondiaux par disciplines. J’ai bien sûr consulté celui qui concerne les mathématiques. On y apprend que Princeton est première, que la Sorbonne est deuxième, que Paris-Sud est en cinquième position et que le département français de mathématiques qui suit, dans une 27e place très honorable au niveau mondial, est mon laboratoire de l’Ecole normale supérieure de Lyon. Finalement, ces classements ne sont pas si mal…