Une étude révèle que près de la moitié des benchmarks LLM sont « saturés » et ne mesurent plus rien
Une nouvelle étude publiée à l'ICML 2026 analyse 60 benchmarks LLM et constate que près de la moitié ont perdu leur capacité à distinguer les modèles les plus performants entre eux
Une équipe de chercheurs dirigée par Mubashara Akhtar et Anka Reuel, avec au total 36 co-auteurs issus du projet EvalEval Coalition, a publié dans les Proceedings of the 43rd International Conference on Machine Learning (ICML) 2026 une étude analysant systématiquement le problème de la saturation des benchmarks (benchmark saturation). L'équipe a sélectionné 60 benchmarks LLM tirés des rapports techniques des principaux développeurs de modèles.
Les chercheurs définissent la saturation comme le moment où un benchmark « perd sa capacité à distinguer de manière fiable les modèles les plus performants ». Autrement dit, les bons modèles obtiennent tous des scores proches du maximum, au point qu'il devient impossible de déterminer lequel est le meilleur. Ils ont développé un indice de saturation tenant compte de l'incertitude (uncertainty-aware) à partir des données des classements (leaderboards), et défini 14 caractéristiques de benchmarks couvrant la conception des tâches, la création des données et les méthodes d'évaluation, afin de tester 5 hypothèses sur les facteurs qui accélèrent ou ralentissent la saturation.
L'analyse révèle que près de la moitié des benchmarks montrent déjà des signes de saturation, et que ce taux augmente avec l'âge du benchmark. Une découverte notable, qui va à l'encontre des idées reçues du secteur : garder les données de test privées (private test set) ne protège pas du tout contre la saturation. En revanche, les benchmarks dont les questions sont sélectionnées par des experts résistent mieux à la saturation que ceux construits en crowdsourcing (créés par un grand nombre de contributeurs).
State of AI Substack, un blog d'analyse indépendant, qualifie ce travail de cadre d'analyse rigoureux et souligne que l'âge et la taille des jeux de test sont des prédicteurs importants de la saturation, davantage que des mesures que beaucoup croyaient protectrices, comme la confidentialité des données de test ou la conception adversariale. De son côté, Irene Solaiman, l'une des chercheuses, a résumé sur X qu'à mesure que les modèles d'IA progressent, de nombreux benchmarks se saturent et ne parviennent plus à les distinguer.
Les scores de benchmarks sont l'argument que les entreprises d'IA utilisent pour vanter les performances de leurs modèles. Si ces instruments de mesure sont saturés, les utilisateurs et les entreprises thaïlandaises qui choisissent leurs modèles sur la base de ces scores risquent d'être induits en erreur. Cette actualité invite à lire les scores de benchmarks avec un esprit plus critique.