AI 벤치마크는 포화 상태에 이르렀고, 우리는 진보를 측정할 새로운 방법을 찾고 있다.

시스템적인 arXiv 연구는 벤치마크 포화 현상이 모델 비교 능력을 조용히 약화시키고 있으며, 이것이 개별 벤치마크 결과보다 더 중요한 이유에 대해 문서화합니다.

간단히 말해: 모델들은 벤치마크를 우리가 모델을 대체할 수 있는 속도보다 더 빠르게 정복하고 있습니다. 새로운 학술 연구가 처음으로 체계적으로 포화 문제를 분석했으며, 대부분의 표준 평가에서 가속화되고 있음을 발견했습니다.

이야기: 벤치마크 포화는 상위 모델들이 최고점(ceiling)에 너무 가까워져 더 이상 모델을 차별화할 수 없을 때 발생합니다. 이 연구(arXiv:2602.16763)에 따르면, 이는 MMLU, HumanEval 같은 일부 사례에 국한되지 않고 분야 전반에 걸친 구조적 패턴입니다. 새로운 벤치마크는 일반적으로 상위 모델들이 최고점에 집결하기까지 12~18개월의 유용한 수명을 가집니다.

시사점: 포화된 벤치마크에서 발표되는 "개선"은 종종 무의미합니다. 최고점이 95%인 벤치마크에서 91%에서 93%로 오른 모델은 실제 세계 능력 차이를 거의 알려주지 못합니다.

내부 구조: 이 연구는 포화 지수(상위 모델 점수 중 벤치마크 최고점에서 표준 편차 1 이내에 있는 비율)를 제안합니다. 이 척도에 따르면, 일반적으로 보고되는 벤치마크의 약 60%가 최신 모델들에게 이미 포화 상태입니다. GPQA와 ARC-AGI는 여전히 유용하지만, 대부분의 MMLU 변형들은 그렇지 않습니다.

결론: 연구소와 연구자들은 벤치마크 결과 alongside 포화 지수를 공개해야 합니다. 모델을 평가하는 실무자들에게: 포화된 벤치마크는 마케팅일 뿐 측정 도구가 아닙니다. 실제 사용 사례에 맞는 과제별 평가가 유일한 신뢰할 수 있는 신호입니다.