ทันเอไอ

Riset menunjukkan format input lebih penting daripada ukuran model, meningkatkan akurasi memori LLM hingga 72 poin

Tim peneliti memperkenalkan RENDER dan mengungkap bahwa format input LLM lebih memengaruhi akurasi memori dibandingkan ukuran model

Dalam evaluasi sistem memori dan pengambilan informasi atau RAG (Retrieval-Augmented Generation) pada model bahasa besar atau LLM (Large Language Model), detail penyajian input kerap diabaikan. Padahal, sistem dapat mengubah riwayat percakapan menjadi catatan memori, ringkasan, catatan terstruktur, atau teks mentah. Baru-baru ini, tim dari University of Waterloo, Stanford University, dan peneliti independen memperkenalkan RENDER, sebuah Benchmark Control yang mempertahankan percakapan yang sama tetapi mengubah format informasi yang ditampilkan kepada model (reader-facing artifact).

Riset ini menggabungkan five-level packet ladder untuk menentukan posisi konten jawaban dalam input dengan templat deterministik yang meniru format operasional, seperti daftar percakapan bergaya ChatGPT, ringkasan dari LangChain, catatan bertipe data bergaya MemGPT, dan teks percakapan mentah. Pengujian terhadap 500 pertanyaan LongMemEval dan sembilan model menemukan bahwa matched-budget resolved packets mengungguli recency-truncated raw dialogue sebesar 42,4 hingga 72,6 poin. Pada templat bergaya penggunaan nyata, selisih antara skor tertinggi dan terendah juga mencapai 24,6 hingga 48,8 poin. Temuan ini menegaskan bahwa tata letak informasi dapat mengubah hasil sistem secara signifikan.