ทันเอไอ

Riset Ungkap: Hanya Ganti Format Prompt, Skor AI Bisa Bergeser Puluhan Persen, Pengaruhi Keandalan Benchmark

Beberapa studi mengungkapkan masalah besar di industri AI, di mana model bahasa besar (LLM) menunjukkan performa sangat bervariasi hanya karena format perintah yang berbeda, meskipun substansi isinya sama.

Masalah keandalan evaluasi atau *benchmark* model AI kembali menjadi perdebatan di kalangan riset. Bukti-bukti semakin jelas menunjukkan bahwa, meskipun menggunakan pertanyaan yang sama, hanya dengan mengubah format presentasi perintah (*Prompt Formatting*), seperti penggunaan judul, pembatas, atau urutan contoh, dapat menyebabkan skor akurasi model bahasa besar (LLM) bergeser secara signifikan.

Fenomena ini disebut "Sensitivitas Format" (*Format Sensitivity*) dan telah dikonfirmasi oleh beberapa riset baru-baru ini. Sebagai contoh, riset oleh Sclar et al. (2024) menemukan bahwa model LLaMA-2-13B memiliki perbedaan skor akurasi hingga 76 poin persentase hanya karena sedikit perubahan format *Prompt* dalam soal *few-shot*. Sementara itu, survei lain menemukan bahwa model GPT-3.5 memiliki rentang variabilitas skor hingga 56 poin dari pengujian dengan 320 format *Prompt* yang berbeda dalam 53 jenis tugas, dengan nilai median variabilitas 6,4 poin, angka yang cukup tinggi untuk mengubah peringkat di *Leaderboard*.

Masalah ini tidak hanya terbatas pada benar-salahnya jawaban, tetapi juga mencakup kemampuan untuk mengikuti struktur yang ditentukan (*Schema Compliance*). Contohnya, perintah agar model membalas dalam format data JSON yang benar, yang mana studi menemukan bahwa tingkat keberhasilan dapat berfluktuasi dari 0% hingga 100% tergantung pada kompleksitas tugas dan model yang digunakan.

Meskipun topik ini menarik perhatian dan didukung oleh banyak riset, tim berita 'Tan AI' menemukan bahwa artikel akademis berjudul "Format Sensitivity Index", yang merupakan salah satu sumber informasi awal, belum dapat dikonfirmasi keberadaannya di basis data arXiv saat ini. Namun demikian, isu sensitivitas format *Prompt* dianggap sebagai masalah yang diakui dan sedang dipelajari secara intensif di kalangan profesional, untuk mengembangkan metode evaluasi AI yang lebih stabil dan andal di masa depan.