ทันเอไอ

Riset Ungkap Hampir Setengah Benchmark LLM Sudah "Jenuh" dan Tak Lagi Bisa Mengukur Apa Pun

Riset baru yang dipublikasikan di ICML 2026 menganalisis 60 benchmark LLM dan menemukan hampir setengahnya telah kehilangan kemampuan membedakan model-model canggih satu sama lain

Tim peneliti yang dipimpin oleh Mubashara Akhtar dan Anka Reuel, bersama total 36 peneliti dari proyek EvalEval Coalition, mempublikasikan riset di Proceedings of the 43rd International Conference on Machine Learning (ICML) 2026 yang menganalisis masalah benchmark saturation (kejenuhan benchmark) secara sistematis. Mereka memilih 60 benchmark LLM dari laporan teknis para pengembang model besar untuk diteliti.

Tim riset mendefinisikan saturation sebagai kondisi ketika sebuah benchmark "kehilangan kemampuan untuk membedakan secara andal antara model-model berperforma tertinggi". Sederhananya, model-model canggih mendapat skor nyaris sempurna semua sehingga tidak bisa lagi dibedakan mana yang lebih baik. Mereka mengembangkan indeks saturation yang uncertainty-aware (memperhitungkan ketidakpastian) dari data leaderboard untuk mengukurnya, sekaligus menetapkan 14 karakteristik benchmark yang mencakup desain tugas, pembuatan data, dan format evaluasi, guna menguji 5 hipotesis tentang apa yang membuat benchmark cepat atau lambat mengalami jenuh.

Hasil analisis menemukan bahwa hampir setengah benchmark menunjukkan gejala saturation, dan angka ini meningkat seiring usia benchmark. Temuan menarik yang bertentangan dengan keyakinan umum di industri adalah bahwa menyembunyikan data uji dari publik (private test set) sama sekali tidak membantu mencegah saturation. Sementara itu, benchmark yang soal-soalnya dikurasi oleh para ahli ternyata lebih tahan terhadap saturation dibandingkan benchmark berbasis crowdsourced (dibuat oleh banyak orang secara bersama-sama).

State of AI Substack, blog analisis independen, merangkum riset ini sebagai kerangka analisis yang ketat, dan menunjukkan bahwa usia serta ukuran kumpulan data uji adalah prediktor saturation yang lebih penting, dibandingkan langkah-langkah yang selama ini dianggap aman oleh banyak orang, seperti merahasiakan data uji atau desain adversarial. Sementara itu, Irene Solaiman, salah satu anggota tim riset, merangkum lewat X bahwa seiring perkembangan model AI, banyak benchmark mulai jenuh dan tidak lagi mampu membedakan antar-model.