Os benchmarks de IA estão saturando — e estamos ficando sem maneiras de medir o progresso

Um estudo sistemático no arXiv documenta como a saturação de benchmarks está silenciosamente minando nossa capacidade de comparar modelos - e por que isso importa mais do que qualquer resultado individual de benchmark.

Em termos simples: Os modelos estão atingindo o limite dos benchmarks mais rápido do que conseguimos substituí-los. Um novo estudo acadêmico mapeia o problema de saturação de forma sistemática pela primeira vez — e descobre que ele está acelerando na maioria das avaliações padrão.

A história: A saturação de benchmarks ocorre quando os principais modelos atingem pontuações tão próximas do limite que o benchmark não consegue mais diferenciá-los. O estudo (arXiv:2602.16763) mostra que isso não é um caso isolado de alguns benchmarks famosos (MMLU, HumanEval) — é um padrão estrutural em todo o campo. Novos benchmarks geralmente têm uma vida útil útil de 12 a 18 meses antes que os modelos líderes se agrupem no topo.

A implicação: os supostos "melhoramentos" anunciados em benchmarks saturados muitas vezes não têm significado. Um modelo que passa de 91% para 93% em um benchmark cujo limite é 95% quase não diz nada sobre diferenças reais de capacidade no mundo real.

Por baixo dos panos: O estudo propõe um índice de saturação — a proporção de pontuações dos principais modelos dentro de um desvio padrão do limite do benchmark. Por essa medida, aproximadamente 60% dos benchmarks comumente relatados já estão saturados para modelos de fronteira. GPQA e ARC-AGI permanecem úteis. A maioria das variantes do MMLU, não.

E então: Laboratórios e pesquisadores devem publicar índices de saturação junto com os resultados dos benchmarks. Para profissionais que avaliam modelos: benchmarks saturados são marketing, não medição. Avaliações específicas de tarefas no seu caso de uso real continuam sendo o único sinal confiável.