Studie: Fast die Hälfte aller LLM-Benchmarks ist "gesättigt" und misst nichts mehr
Eine neue Studie, veröffentlicht auf der ICML 2026, analysiert 60 LLM-Benchmarks und stellt fest: Fast die Hälfte kann leistungsstarke Modelle nicht mehr zuverlässig voneinander unterscheiden
Ein Forschungsteam unter der Leitung von Mubashara Akhtar und Anka Reuel mit insgesamt 36 Mitwirkenden aus dem EvalEval Coalition-Projekt hat in den Proceedings of the 43rd International Conference on Machine Learning (ICML) 2026 eine Studie veröffentlicht, die das Problem der Benchmark-Sättigung systematisch untersucht. Dafür wurden 60 LLM-Benchmarks aus technischen Berichten großer Modellentwickler ausgewählt und analysiert.
Das Team definiert Sättigung als den Zustand, in dem ein Benchmark "die Fähigkeit verliert, zwischen den leistungsstärksten Modellen zuverlässig zu unterscheiden". Einfach gesagt: Die besten Modelle erreichen fast alle die Höchstpunktzahl, sodass nicht mehr erkennbar ist, welches Modell tatsächlich besser ist. Die Forschenden entwickelten einen unsicherheitsbewussten Sättigungsindex auf Basis von Leaderboard-Daten und definierten 14 Benchmark-Eigenschaften – von der Aufgabengestaltung über die Datenerstellung bis zum Bewertungsformat –, um fünf Hypothesen darüber zu prüfen, was Benchmarks schneller oder langsamer sättigt.
Die Analyse ergab, dass fast die Hälfte der untersuchten Benchmarks bereits Anzeichen von Sättigung zeigt – mit steigender Rate je älter der Benchmark ist. Besonders bemerkenswert und im Widerspruch zur allgemeinen Annahme der Branche: Das Geheimhalten der Testdaten (private Testsets) schützt überhaupt nicht vor Sättigung. Benchmarks hingegen, deren Aufgaben von Expertinnen und Experten kuratiert werden, widerstehen der Sättigung besser als per Crowdsourcing erstellte Benchmarks.
Der State of AI Substack, ein unabhängiger Analyse-Blog, bewertet die Arbeit als einen rigorosen Analyserahmen und betont, dass Alter und Größe des Testsets die entscheidenden Prädiktoren für Sättigung sind – wichtiger als Maßnahmen, die viele für sicher hielten, etwa geheime Testdaten oder adversarial gestaltete Aufgaben. Irene Solaiman, eine der beteiligten Forschenden, fasste auf X zusammen: Mit der Weiterentwicklung von KI-Modellen werden viele Benchmarks gesättigt und können die Modelle nicht mehr unterscheiden.
Benchmark-Ergebnisse sind das Aushängeschild, mit dem KI-Unternehmen für die Leistung ihrer Modelle werben. Wenn die Messinstrumente gesättigt sind, lassen sich Nutzer und Unternehmen, die Modelle anhand dieser Werte auswählen, möglicherweise in die Irre führen. Die Studie mahnt zu einem kritischeren Blick auf Benchmark-Scores.