Riset: AI untuk menulis tinjauan pustaka masih memerlukan manusia meski jendela konteks diperluas
Riset terbaru di arXiv yang mengevaluasi penggunaan large language model (LLM) untuk menulis tinjauan pustaka menemukan bahwa pengawasan ketat manusia masih diperlukan agar hasilnya memenuhi standar akademik.
Riset berjudul "LLMs for Academic Workflows: An Evaluation of Literature Reviews Generated with Short and Long Context Windows of LLMs" (arXiv:2608.26145) mengkaji pengaruh ukuran jendela konteks (Context Window) terhadap kualitas penulisan tinjauan pustaka (Literature Review) menggunakan large language model (LLM).
Dalam studi ini, peneliti mengevaluasi 20 tinjauan pustaka buatan AI yang merujuk pada sumber akademik seperti Semantic Scholar dan arXiv. Dua peneliti menilai kualitasnya berdasarkan 15 dimensi standar.
Hasilnya menunjukkan bahwa tinjauan pustaka buatan AI masih memerlukan pemeriksaan dan pengawasan manusia (Human Oversight) agar memenuhi standar kualitas publikasi akademik. Meski jendela konteks yang lebih besar memungkinkan model memproses informasi lebih luas dan menjaga kesinambungan pada input panjang, masih ada keterbatasan seperti pengulangan isi dan terlewatnya sejumlah poin penting.
Riset ini menyoroti keterbatasan AI saat ini dalam pekerjaan akademik tingkat lanjut. Peneliti dan mahasiswa Thailand yang menggunakan LLM untuk merangkum riset atau menulis artikel perlu berhati-hati dan selalu memeriksa sendiri keakuratan hasilnya.