Riset: LLM Keliru Menulis Autobiografi hingga 96,7%, Mengarang dan Memelintir Fakta
Riset terbaru mengungkap bahwa autobiografi buatan model bahasa besar hampir seluruhnya mengandung informasi rekaan jika dibandingkan dengan catatan kehidupan nyata.
Riset terbaru berjudul "Auditing the Synthetic Memoir: Measuring Scene-Level Confabulation in LLM-Generated Autobiography Against the Documented Record of the Life It Describes", yang diterbitkan di arXiv pada Agustus 2026, melakukan kajian kuantitatif pertama mengenai konfabulasi oleh Large Language Model (LLM) saat menulis autobiografi seseorang.
Penulis riset, Heather Renze, meminta LLM percakapan menyusun draf autobiografi harian selama 366 hari. Model hanya diberi templat, dua contoh entri harian, dan kutipan harian. Setiap entri kemudian diperiksa secara mendalam dengan membandingkannya terhadap kumpulan catatan peristiwa nyata (ground-truth corpus) menggunakan empat tingkat evaluasi yang telah ditetapkan sebelumnya.
Hasilnya menunjukkan tingkat kegagalan verifikasi mencapai 96,7%, yakni 354 dari 366 hari tidak memenuhi kriteria konfirmasi. Hanya 12 hari yang peristiwanya sesuai dengan fakta. Selain itu, terdapat 19 hari atau 5,2% yang memuat peristiwa yang secara langsung bertentangan dengan kenyataan.
Pola kesalahan yang paling umum adalah "grounded drift", yaitu ketika model menggabungkan orang, tempat, atau perusahaan nyata dengan peristiwa yang dibuatnya sendiri. Riset ini menyimpulkan bahwa penggunaan model AI saat ini untuk menyusun kisah hidup masih sangat berisiko menghasilkan informasi keliru tanpa grounding data yang memadai.
Temuan ini menyoroti keterbatasan penting AI dalam mengolah ingatan dan biografi seseorang, sekaligus mengingatkan pengguna agar mewaspadai penyimpangan dan informasi rekaan saat model digunakan untuk pekerjaan yang menuntut akurasi tinggi.