ทันเอไอ

CIFQA Gunakan Sistem Multi-Agent untuk Kurangi Kesalahan Perhitungan Finansial

Peneliti mengusulkan framework yang memanfaatkan LLM untuk memahami pertanyaan namun menyerahkan kalkulasi ke alat berbasis aturan, mencatatkan akurasi keseluruhan 90,87%

Kunjesh Parekh, Anil Kumar Tiwari, dan Divya Saxena memublikasikan riset CIFQA di arXiv nomor 2608.26114, yang bertujuan mengatasi kelemahan Large Language Models (LLM) dalam menjawab pertanyaan finansial yang memerlukan perhitungan multitahap, di mana model sering kali menghasilkan jawaban yang terdengar masuk akal namun angka aslinya salah.

CIFQA, singkatan dari Calculation-Intensive Financial Query Answering, merupakan framework berbasis Multi-agent. Konsep utamanya adalah memisahkan "pemahaman bahasa" dari "pemrosesan angka", alih-alih membiarkan LLM menginterpretasikan soal, memilih rumus, menghitung, dan menyusun jawaban sendirian.

Di dalam sistem ini, terdapat agen khusus untuk menginterpretasikan pertanyaan, memilih alur kerja, mengekstrak parameter, merencanakan langkah kalkulasi, dan menyusun jawaban akhir. Sementara itu, perhitungan dan penerapan aturan kondisi dialihkan ke alat berbasis Python yang bersifat deterministik (selalu menghasilkan output langkah demi langkah yang konsisten untuk input yang sama). Pendekatan ini meminimalkan ketergantungan pada tebakan angka oleh model.

Para peneliti menguji sistem ini dengan pertanyaan seputar Fixed Deposit (deposito berjangka), yang memerlukan penanganan suku bunga, tenor, rumus matematis, serta berbagai ketentuan. Hasil yang dilaporkan menunjukkan bahwa CIFQA mencapai akurasi 95,54% pada segmen pertanyaan berhitung intensif dan akurasi keseluruhan 90,87%, lebih tinggi daripada LLM skala besar yang digunakan secara konvensional dalam pengujian yang sama.

Hasil ini mengindikasikan bahwa pada tugas-tugas di mana deviasi kecil dapat mengubah jawaban finansial secara drastis, perancangan arsitektur yang memungkinkan model memanggil alat komputasi secara sistematis bisa jadi lebih penting daripada sekadar memperbesar ukuran model. Kendati demikian, seluruh angka ini merupakan hasil laporan peneliti pada kasus deposito berjangka, sehingga belum dapat dipastikan apakah tingkat akurasi serupa akan tercapai pada kasus kredit, perpajakan, investasi, atau regulasi finansial spesifik tiap negara.