ทันเอไอ

研究で判明、LLMベンチマークのほぼ半数が「飽和状態」でもう何も測れていない

ICML 2026に掲載された新たな研究がLLMベンチマーク60件を分析、ほぼ半数が高性能モデル同士を識別する能力を失っていることが明らかに

Mubashara Akhtar氏とAnka Reuel氏を筆頭とし、EvalEval Coalitionから計36名の研究者が参加するチームが、Proceedings of the 43rd International Conference on Machine Learning (ICML) 2026において、benchmark saturation（ベンチマーク飽和）の問題を体系的に分析した研究を発表した。大手モデル開発者の技術レポートからLLMのベンチマーク60件を選定して調査を行った。

研究チームは、飽和（saturation）を「ベンチマークが最高性能のモデル同士を信頼性をもって識別する能力を失った状態」と定義している。つまり、優れたモデルはどれも満点に近いスコアを取るため、どれがより優れているか区別できなくなってしまう。チームはリーダーボードのデータから不確実性を考慮した（uncertainty-aware）飽和指数を開発して測定に用い、タスク設計・データ生成・評価形式を網羅する14の側面からベンチマークの特性を定義。ベンチマークの飽和を早める要因・遅らせる要因について5つの仮説を検証した。

分析の結果、ベンチマークのほぼ半数がすでに飽和の兆候を示しており、その割合はベンチマークの経過年数とともに増加することが判明した。興味深く、業界の一般的な認識に反する発見として、テストデータを非公開にする（private test set）ことは飽和の防止にまったく寄与しなかった。一方、専門家が問題を精選したベンチマークは、crowdsourced（多数の人々でデータを作成する）型のベンチマークよりも飽和への耐性が高かった。

独立系分析ブログのState of AI Substackは、この研究を厳密な分析フレームワークと評価し、テストセットの経過年数と規模こそが、テストデータの秘匿化や敵対的設計といった多くの人が安全だと考えてきた対策よりも、飽和の重要な予測因子であると指摘した。また、研究チームの一員であるIrene Solaiman氏もXを通じて、AIモデルが進化するにつれ多くのベンチマークが飽和し、モデルを識別できなくなっているとまとめている。