KI-Benchmarks sättigen sich – und uns gehen die Möglichkeiten aus, Fortschritte zu messen

Eine systematische Studie auf arXiv dokumentiert, wie die stille Sättigung von Benchmarks unsere Fähigkeit untergräbt, Modelle zu vergleichen – und warum dies wichtiger ist als jedes einzelne Benchmark-Ergebnis.

Einfach ausgedrückt: Modelle erreichen Benchmarks schneller als wir sie ersetzen können. Eine neue akademische Studie kartiert das Sättigungsproblem erstmals systematisch – und stellt fest, dass es sich in den meisten Standardbewertungen beschleunigt.

Die Geschichte: Benchmark-Sättigung tritt auf, wenn Spitzenmodelle so nah an die Obergrenze herankommen, dass der Benchmark sie nicht mehr voneinander unterscheiden kann. Die Studie (arXiv:2602.16763) zeigt, dass dies kein Einzelfall bei bekannten Benchmarks (MMLU, HumanEval) ist – es handelt sich um ein strukturelles Muster im gesamten Bereich. Neue Benchmarks haben typischerweise eine Nutzungsdauer von 12–18 Monaten, bevor führende Modelle sich an der Spitze ansammeln.

Die Implikation: angekündigte „Verbesserungen“ bei gesättigten Benchmarks sind oft bedeutungslos. Ein Modell, das von 91 % auf 93 % in einem Benchmark steigt, dessen Obergrenze bei 95 % liegt, sagt fast nichts über reale Fähigkeitsunterschiede aus.

Unter der Haube: Die Studie schlägt einen Sättigungsindex vor – den Anteil der Spitzenmodell-Ergebnisse innerhalb einer Standardabweichung zur Benchmark-Obergrenze. Nach dieser Messung sind etwa 60 % der häufig berichteten Benchmarks für Spitzenmodelle bereits gesättigt. GPQA und ARC-AGI bleiben nützlich. Die meisten MMLU-Varianten nicht.

Was nun: Labore und Forschende sollten Sättigungsindizes zusammen mit Benchmark-Ergebnissen veröffentlichen. Für Praktiker, die Modelle evaluieren: gesättigte Benchmarks sind Marketing, keine Messung. Aufgabenbezogene Bewertungen für den tatsächlichen Anwendungsfall bleiben das einzige verlässliche Signal.