Los puntos de referencia de IA están saturándose y nos estamos quedando sin formas de medir el progreso.

Un estudio sistemático en arXiv documenta cómo la saturación de los puntos de referencia está socavando silenciosamente nuestra capacidad para comparar modelos, y por qué esto importa más que cualquier resultado individual de un punto de referencia.

En términos sencillos: Los modelos están alcanzando los límites de los puntos de referencia más rápido de lo que podemos reemplazarlos. Un nuevo estudio académico mapea el problema de saturación de manera sistemática por primera vez —y descubre que se está acelerando en la mayoría de las evaluaciones estándar.

La historia: La saturación de puntos de referencia ocurre cuando los modelos líderes obtienen puntuaciones tan cercanas al máximo que el punto de referencia ya no puede diferenciarlos. El estudio (arXiv:2602.16763) demuestra que esto no es un caso aislado de unos pocos ejemplos famosos (MMLU, HumanEval) —es un patrón estructural en el campo. Los nuevos puntos de referencia suelen tener una vida útil útil de 12 a 18 meses antes de que los modelos líderes se agrupen en la parte superior.

La implicación: los supuestos "avances" anunciados en puntos de referencia saturados suelen carecer de significado. Un modelo que pasa del 91% al 93% en un punto de referencia donde el techo es del 95% casi no te dice nada sobre las diferencias reales en capacidad.

Bajo el capó: El estudio propone un índice de saturación —la proporción de puntuaciones de los modelos líderes dentro de una desviación estándar del techo del punto de referencia. Según esta medida, aproximadamente el 60% de los puntos de referencia comúnmente reportados ya están saturados para los modelos de vanguardia. GPQA y ARC-AGI siguen siendo útiles. La mayoría de las variantes de MMLU, no.

Entonces, ¿qué hacer? Los laboratorios y los investigadores deberían publicar índices de saturación junto con los resultados de los puntos de referencia. Para los profesionales que evalúan modelos: los puntos de referencia saturados son marketing, no medición. Las evaluaciones específicas de tareas en tu caso de uso real siguen siendo la única señal confiable.