AI 基准测试正在饱和——我们正在耗尽衡量进展的方法

系统性的arXiv研究记录了基准测试饱和如何悄然削弱我们比较模型的能力——以及为什么这比任何单一基准测试结果都更重要。

简单来说： 模型正在以比我们更换它们更快的速度达到基准测试的上限。一项新的学术研究首次系统性地描绘了饱和问题——并发现它正在大多数标准评估中加速。

背后的故事： 当顶级模型得分接近上限时，基准测试就无法再区分它们，这种现象称为基准测试饱和。该研究（arXiv:2602.16763）表明，这并非仅存在于少数知名案例（如MMLU、HumanEval）中——而是整个领域的结构性问题。新的基准测试通常在12-18个月内就会因顶级模型集中在顶部而失去效用。

其意义在于：在饱和基准测试上宣布的“改进”往往毫无意义。例如，某模型在一个上限为95%的基准测试中从91%提升至93%，几乎无法说明其在实际能力上的差异。

深入分析： 该研究提出了一个饱和指数——即顶级模型得分在基准测试上限一个标准差范围内的比例。按此标准，约60%的常用基准测试已被前沿模型饱和。GPQA和ARC-AGI仍具参考价值，而大多数MMLU变体则不然。

关键结论： 实验室和研究人员应在发布基准测试结果时附上饱和指数。对于评估模型的从业者而言：饱和基准测试只是营销手段，而非衡量标准。针对实际使用场景的任务特定评估才是唯一可靠的信号。