ทันเอไอ

Peneliti: Pengukuran Kemampuan AI Menulis Kode Masih 'Fluktuatif', Banyak Faktor Pengganggu

Penelitian dari berbagai institusi terkemuka mengungkapkan bahwa evaluasi kemampuan AI dalam menulis kode mungkin tidak akurat akibat faktor tak terlihat, menyebabkan peringkat model tidak mencerminkan kapabilitas sebenarnya.

Peringkat kemampuan AI dalam menulis kode mungkin tidak seandal yang diperkirakan, seiring para peneliti dari berbagai institusi mulai mempertanyakan akurasi tes standar atau benchmark yang digunakan saat ini. Meskipun belum ada konfirmasi langsung dari OpenAI terkait analisis ini, isu 'noise' dalam pengukuran sedang diperdebatkan secara luas. Penelitian dari Allen Institute for AI (Ai2) menunjukkan bahwa 'noise' (variabilitas acak) pada beberapa tes, seperti MBPP, sangat tinggi, menyebabkan kesalahan prediksi kinerja model hingga 15,7%. Sementara itu, penelitian dari Anthropic menemukan bahwa hanya dengan menyesuaikan konfigurasi sumber daya dasar komputer yang digunakan untuk pengujian, seperti RAM, dapat mengubah skor hingga 6 poin persentase, yang terkadang lebih besar dari selisih skor antara model pesaing di papan peringkat. Isu ini mencerminkan tantangan dalam menciptakan standar pengukuran AI yang dapat diandalkan, yang merupakan kunci penting dalam pengembangan dan perbandingan model bahasa besar (LLM) untuk kemajuan yang transparan dan akurat.