Riset Ungkap LLM Bisa Bantu Tinjau Model Penyakit, tapi Tetap Butuh Verifikasi Manusia
Peneliti kembangkan pipeline LLM untuk ekstraksi data dari 536 riset pemodelan penyebaran penyakit; akurasi tingkat artikel capai 81,67%, namun bervariasi tergantung kompleksitas data.
Riset berjudul “Leveraging Large Language Models for Systematic Literature Review of Disease Spread Models” menguji penggunaan Large Language Models (LLM) untuk membantu proses systematic literature review (SLR)—tinjauan literatur sistematis yang biasanya memakan banyak waktu untuk mencari, membaca, dan mengategorikan karya ilmiah berdasarkan kriteria tertentu.
Tim peneliti mengembangkan pipeline untuk mengekstraksi data terkait pemodelan dari 536 artikel ilmiah peer-reviewed bertema agent-based modeling untuk penyebaran penyakit, lalu membandingkan hasilnya dengan SLR yang dikerjakan secara manual oleh manusia.
Pada tingkat artikel, GPT-4.1 mencatatkan akurasi sekitar 77,95%, sementara GPT-5.0 mencapai sekitar 81,67%. Namun, angka keseluruhan tersebut tidak mencerminkan performa yang merata di semua jenis informasi. Saat diukur per bidang data, tingkat akurasinya berkisar lebar antara 32,40% hingga 100,00%, dengan bidang yang kompleks atau memerlukan interpretasi subjektif menunjukkan tingkat keandalan yang lebih rendah.
Riset ini juga menemukan bahwa tingkat konsistensi antarjawaban dari beberapa LLM dapat menjadi indikator awal kualitas hasil. Ketidaksesuaian yang tinggi antarmodel dapat mengindikasikan adanya halusinasi (informasi buatan yang tampak meyakinkan namun tidak akurat). Temuan ini dapat membantu menentukan data mana yang harus diverifikasi manual oleh manusia, meski kesepakatan antarmodel tidak selalu menjamin kebenaran mutlak.
Secara keseluruhan, temuan ini mendukung pemanfaatan LLM sebagai alat bantu untuk meringankan beban ekstraksi data, bukan menggantikan peran peneliti seutuhnya, terutama untuk pekerjaan yang memerlukan interpretasi konteks dan pertimbangan mendalam. Makalah riset ini telah dipublikasikan di arXiv pada kategori cs.AI dan dijadwalkan dipresentasikan di Winter Simulation Conference 2026.
Kemampuan meninjau riset penyakit dalam jumlah besar secara lebih cepat dapat membantu peneliti dan otoritas kesehatan memantau perkembangan ilmu pengetahuan secara efisien, namun rentang akurasi yang lebar menegaskan pentingnya verifikasi ahli sebelum hasilnya dijadikan dasar pengambilan keputusan.