C'est un thème qui à causé beaucoup de remises en question, et à juste titre puisque c'est un problème absolument fondamental pour le futur de chaque pays ; c'est aussi une question qui me concerne, et me tiens particulièrement à cœur. Quel est le niveau de nos universités ?
Difficultés d'évaluation
Bien sûr on a tendance à penser que les établissements auxquels ont est lié (par l'appartenance, ville, région, pays, langue) sont de bon niveau. C'est humain, et le fait qu'on entende - et ce n'est pas critiquable - toujours plus les faits de gloire de ces universités plus proches de nous ne fait que rendre plus difficile toute velléité d'objectivisme.
Comme pour d'autres choses que l'on cherche à comparer entre pays (systèmes médicaux, politiques, etc.), nous avons tous en tête des relations d'ordre entre universités, qui nous permettent de délimiter de grands groupes d'établissements. On mettra ainsi dans une même catégorie les universités qu'on perçoit comme étant les meilleures. Puis dessous viendra un gros groupe qui contient les universités plus moyennes, et éventuellement ensuite un troisième groupe moins prestigieux encore.
Mais aller plus loin dans les comparaisons n'est pas si évident. De plus, si un anglo-saxon classera mettra certainement Harvard, MIT ou Cambridge dans le groupe des meilleures, un français choisira lui l'ENS et Polytechnique, et oubliera sûrement Stanford. Pareillement, un japonais pensera à Todai, mais certainement pas à Polytechnique et probablement pas à Cambridge. Et bien que certaines universités comme Harvard soient connues mondialement, elles sont rares et se comptent sur les doigts d'une main.
Le problème est que bien qu'il soit surement pertinent de considérer Harvard meilleure que la plupart des autres universités aux USA, les comparaisons avec des universités dans d'autres pays est hasardeuse, et ce pour une bonne raison: ces échelles approximatives qu'on a en tête sont basées principalement sur la réputation. Et la réputation est un critère qui dépend de facteurs qui diffèrent beaucoup entre pays ou régions du globe, et sont surtout d'ordre culturels.
Le classement de Shanghai
Dans un contexte de concurrence mondiale croissante entre universités, l'université de Shanghai publie depuis 2003 un classement, qui a le mérite de comparer 500 universités dans le monde, et donne enfin un moyen d'évaluer les établissement à travers les frontières, sur des critères objectifs qui vont au-delà des différences culturelles.
Dans beaucoup de pays, il a fait l'effet d'une petite bombe, particulièrement dans ceux qui avaient une haute opinion de leur système éducatif: dans la première édition, l'Allemagne se voit gratifiée d'une 48ème place pour leur meilleure université du classement, l'université de Munich, et la France obtient la 72ème place pour l'université Paris 11.
Tout le monde à bien intégré après avoir pris connaissance du classement la suprématie écrasante du système américain, qui rafle 17 des 20 premières places, les anglais récupérant 2 des places restantes, l'université de Tokyo dernière du Top 20 et seule non anglo-saxonne. Mais ne perdons pas notre esprit critique et regardons ce que le document a dans le ventre.
Les auteurs du papier soulignent eux-mêmes des problèmes, graves et beaucoup trop peu évoquées, de leur étude:
There are many methodological and technical problems. Methodological problems include: the proportion of indicators on teaching and services, the weight of per capita performance, the type of institutions (comprehensive or specialized), the language bias in publications, the selection of awards and the experience of award winners. Technical problems include: the definition of institutions, the attribution of publications and awards, and the history of institutions.
L'énumération est suffisamment exhaustive pour résumer grossièrement ce que je reproche au classement, mais encore faut-il savoir à quoi se réfèrent ces phrases guère didactiques. Il faut regarder, pour cerner la nature du problème, quels sont les indicateurs pris en compte par l'étude (part du score total entre parenthèses) :
- Le nombre d'anciens élèves ayant gagné une médaille Fields ou un prix Nobel. Le nombre est pondéré par un facteur dépendant de la date d'obtention du diplôme (100% pour les années 1990, ..., 10% pour les années 1900). (10%)
- Le nombre de membres du personnel ayant gagné une médaille Fields ou un prix Nobel en tant que membre de l'institution. Le nombre est aussi pondéré par un facteur dépendant de la date d'obtention du prix (100% pour les années 2000, ..., 10% pour les années 1910). (20%)
- Le nombre de chercheurs dans l'index ISI Highly Cited Researchers des chercheurs les plus cités. (20%)
- Le nombre d'articles publiés dans Nature and Science dans les 5 années précédentes. L'auteur principal compte pour 100%, le 2ème 50%, le 3ème 25% et 10% pour les autres. (20%)
- Le nombre total d'articles publiés et indexés par les index ISI Science Citation Index-expanded et Social Science Citation index (20%)
- Un facteur de "performance par rapport à la taille" de l'institution. Il est donné par le rapport de la somme pondérée des autres indicateurs, sur l'effectif du personnel enseignant (en équivalent de temps plein). (10%)
Il y a une foule de choses importantes à remarquer en examinant ces critères.
Premièrement, il est choquant de voir que la taille de l'établissement ne compte que pour 10%. En effet, le score de taille est donné par la somme pondérée des autres indicateurs, qui sont tous basés soit sur des individus (élèves ou membres du personnel) soit sur un nombre d'articles, qui est à priori proportionnel au nombre d'individus pouvant publier. Or tout indicateur basé sur des individus devrait logiquement être
per capita, alors qu'il n'est
per capita "que pour 10%". Ne pas prendre en compte celà est comme regarder le PIB nominal des pays: ça donne une idée des plus puissants, mais pas forcément des meilleurs.
Deuxièmement, 30% du score total est basé sur les médailles Fields et prix Nobel, et cela a une certaine valeur car un Nobel est a peu près le prix le plus prestigieux que l'on peut obtenir, mais comme il n'y a pas de Nobel de mathématiques, on prend le prix le plus prestigieux des maths, la médaille Fields.
Mais ces prix souffrent de défauts de non-représentativité:
- La médaille Fields n'est que pour des chercheurs de moins de 40 ans au moment du prix ; les mathématiciens de plus de 40 ans ne comptent donc pas ?
- Les Nobels sont parfois controversés, avec des grands scientifiques jamais récompensés, et est un enjeu politique, donc sujet à influences, lobbies, et l'établissement d'une drôle de caste des "nobélisables".
- Il faut également noter que l'on compte dans ces indicateurs le nombre de lauréats ; mais avant les années 50, pratiquement tout les nobels étaient seuls, alors que les dernières décennies récompensent souvent 2 ou 3 lauréats. C'est pourquoi l'institut Nobel considère que ce sont de moitiés ou tiers de prix, alors que l'étude les comptent en entier. Ce qui établit une prise en compte encore plus faible des Nobels plus anciens, et surtout gonfle artificiellement des établissements ayant été récompensés pour toute une équipe : une découverte d'une équipe de 3 personnes comptera de facto 3 fois plus qu'une découverte d'une, et si les 3 sont du même établissement, récompensera triplement cet établissement.
Troisièmement, la prise en compte des articles se fait par les publications dans Nature et Science, qui sont deux journaux de langue anglaise, édités par des anglais. Le problème n'est pas que l'anglais est la langue de communication internationale, il en faut bien une. Mais cela biaise tout de même les résultats profondément, la recherche se faisant dans toute langue importante qui a développé et/ou emprunté des lexiques spécialisés permettant de publier des papiers. La langue est un problème profond, beaucoup plus important que les bilingues peuvent le penser et dont il ne faut pas sous-estimer l'importance.
De même que pour le nombre de lauréats de prix, le nombre d'auteurs des articles peut de plus également sur-récompenser les grosses équipes : un papier dans Nature ou Science publié seul comptera pour 100%, à deux pour 150%, à quatre pour 185%. Dans les faits, les papiers étant souvent publiés par des membres d'une même université, l'impact est assez important sur cet indicateur.
Quatrièmement, les mathématiques sont sous représentées et mal représentées. Le fait que les médailles Fields ne peuvent être attribuées qu'à des chercheurs de moins de 40 ans y contribue. De plus, les recherches en mathématiques sont par essence plus théoriques et donc moins profitables, il y a ainsi moins de crédits, moins de chercheurs, moins de recherches et moins de papiers faits en mathématiques que dans des disciplines commes la chimie, la biologie ou la médecine. Par exemple pour les chercheurs les plus cités, il y en a au total 334 pour les mathématiques, mais 390 pour la seule microbiologie.
Cinquièmement, le classement prend en compte un peu de passé, plus de présent, mais suivant des critères douteux. On l'a vu avec le nombre moyen de lauréats de médaille Fields et prix Nobels qui a changé au cours du siècle, mais touts les indicateurs sont aussi pondérés par un coefficient inversement proportionel au temps d'obtention du prix ou de la publication de l'article. Au final, le classement n'est ni un classement moderne, ni un classement sur le dernier siècle, mais un hybride dont on a du mal a évaluer la porté à cause de l'incertitude dûe à la méthodologie.
Sixièmement,
seule l'élite de la recherche est prise en compte. C'est le cas pour les prix Nobels, les médailles Fields, qui sont plus que l'élite de l'élite et ne récompenssent pas même des chercheurs extrêmement importants qui ont simplement été eclipsés par d'autres chercheurs extrêmement importants. C'est le cas pour les publications de Nature et Science dans une autre mesure toujours très restrictive. Et si l'on regarde un peu plus loin qui se trouve dans les index de chercheurs les plus cités pris en référence, on se rend compte que ce sont des index fortement restrictifs aussi. Ainsi l'Université de Nice compte pour un seul chercheur, l'INRIA pour 2, le CERN pour 8, l'université Pierre et Marie Curie pour 9, l'université de Tokyo pour 31, MIT pour 75, Berkeley pour 84 et la seul Harvard Medical School pour 52 (plus 82 pour Harvard university, 9 pour Harvard business school, ...).
Septièmement, seul la recherche est prise en compte, et absolument pas l'enseignement. C'est très clairement un classements d'établissements de recherches, pas juste d'"universités", même si dans le système anglo-saxon c'est la même chose.
Tout cela fait lourd pour un classement qui a eu autant d'impact. En résumé, le classement va constamment dans le sens de favoriser les recherches récentes, les grosses équipes, les disciplines dont les communautés publient beaucoup, les établissement élitistes, les établissement de recherche, les établissements à fort effectif, et les établissements anglophones basés sur le système américain en général.
La suite dans un prochain post, où on essayera de compléter cette critique par une approche plus constructive.
Libellés : Éducation