ทันเอไอ

Riset Hugging Face Ungkap AI Transkripsi Suara Tak Secanggih Itu, Hanya Hafal Soal Ujian Standar

Laporan terbaru dari Hugging Face menunjukkan model ASR meraih skor benchmark tinggi karena menghafal pola ujian, bukan karena kemampuan mendengar yang sebenarnya.

Pada 21 Agustus 2026, Hugging Face menerbitkan artikel berjudul "Measuring benchmark optimization in speech recognition", yang mengungkap masalah optimasi benchmark pada sistem Automatic Speech Recognition (ASR). Sistem ini saat ini sering kali meraih skor tinggi pada tes publik yang seolah-olah setara dengan kemampuan manusia, namun gagal mencerminkan penggunaan di dunia nyata.

Dari studi dan analisis yang dilakukan bekerja sama dengan Artificial Analysis yang memeriksa 11 model ASR open-source, ditemukan perilaku menarik: model-model ini cenderung mentranskripsikan teks sesuai dengan dataset uji, seperti VoxPopuli, meskipun suara asli dalam file tidak cocok dengan teks pada dataset uji tersebut.

Selain itu, penelitian ini menemukan kesalahan referensi (reference errors) pada dataset VoxPopuli hingga 40%. Yang mengejutkan, model dengan performa terbaik justru merupakan model yang mereplikasi kesalahan transkripsi dari dataset tersebut hingga 18 hingga 30 persen dari kasus yang diuji.

Untuk mengatasi masalah ini, tim penulis menyarankan para pengembang agar tidak hanya mengandalkan dataset pengujian acak (IID), melainkan membagi data uji berdasarkan rentang waktu (temporal) atau pembicara (speaker) untuk mencegah model di-tuning secara khusus terhadap dataset tertentu.