AIベンチマークは飽和状態にあり、進歩を測る方法が尽きつつある

システマティックなarXiv研究により、ベンチマーク飽和がモデル比較能力を静かに損なっていること、そしてなぜこれが個々のベンチマーク結果よりも重要かが明らかになった。

簡単に言えば： モデルはベンチマークをこれまで以上の速さで最大化しており、それを置き換えるスピードが追いついていません。新しい学術研究により、初めて飽和問題が体系的に調査されました。その結果、ほとんどの標準的な評価で加速していることが判明しました。

詳細： ベンチマークの飽和とは、トップモデルが天井値に近いスコアを獲得し、ベンチマークがモデル間の差別化ができなくなる状態を指します。この研究（arXiv:2602.16763）によると、これはMMLUやHumanEvalなどの有名なケースに限らず、分野全体に共通する構造的な問題であることが明らかになりました。新しいベンチマークは通常、主要モデルが上位に集中するまで12～18ヶ月の有効期間しかありません。

示唆されること： 飽和したベンチマークにおける「改善」の発表はしばしば無意味です。天井値が95%のベンチマークで91%から93%にスコアが向上しても、実世界の能力差についてほとんど情報を与えてくれません。

仕組み： 研究では飽和指数（ベンチマークの天井値から1標準偏差以内にトップモデルのスコアが収まる割合）を提案しています。この指数によると、一般的に報告されるベンチマークの約60%がフロンティアモデルにとってすでに飽和状態にあります。GPQAとARC-AGIはまだ有用ですが、MMLUのほとんどの派生版はそうではありません。

結論： 研究機関や研究者はベンチマーク結果とともに飽和指数を公開すべきです。モデルを評価する実務者にとって、飽和したベンチマークは測定ではなくマーケティングに過ぎません。実際のユースケースに特化したタスク固有の評価こそが、唯一信頼できるシグナルです。