ทันเอไอ

CIFQA использует мультиагентную систему для снижения ошибок в финансовых расчетах

Исследователи представили фреймворк, где LLM отвечает за понимание запроса, а вычисления передаются детерминированным инструментам. Общая точность составила 90,87%

Kunjesh Parekh, Anil Kumar Tiwari и Divya Saxena опубликовали на arXiv (2608.26114) исследование CIFQA. Работа нацелена на устранение слабого места больших языковых моделей (LLM) — многоэтапных финансовых расчетов, при которых модели часто выдают правдоподобный текст с математически неверными цифрами.

CIFQA (Calculation-Intensive Financial Query Answering) — это мультиагентный фреймворк. Его ключевая идея заключается в разделении понимания естественного языка и числовой обработки вместо того, чтобы возлагать на LLM интерпретацию задачи, выбор формул, расчеты и формулирование ответа целиком.

Внутри системы задействованы специализированные агенты для разбора запроса, выбора пути выполнения, извлечения параметров, планирования вычислений и синтеза ответа. Сами расчеты и логические условия передаются детерминированным инструментам на базе Python. Такой подход снижает зависимость от генеративных догадок языковой модели.

Авторы протестировали систему на вопросах о срочных вкладах (Fixed Deposit), требующих учета процентных ставок, сроков, формул и различных условий. CIFQA продемонстрировала точность 95,54% в блоке сложных вычислений и общую точность 90,87%, превзойдя стандартные LLM в аналогичных испытаниях.

Результаты показывают, что в задачах с нулевой терпимостью к ошибкам архитектурный вызов внешних инструментов может быть важнее простого масштабирования модели. Впрочем, эксперименты проводились только на данных по вкладам, поэтому пока рано делать выводы об аналогичной эффективности фреймворка в кредитовании, налогах или инвестициях.