「CIFQA」マルチエージェントシステムで金融計算の誤りを削減
LLMが質問を理解し、計算を決定論的ツールに委託するフレームワークを研究チームが提案。総合精度90.87%を記録。
Kunjesh Parekh氏、Anil Kumar Tiwari氏、Divya Saxena氏がarXiv(2608.26114)にて論文「CIFQA」を発表した。大規模言語モデル(LLM)が、もっともらしい文章を生成しながらも実際の数値が誤っているという、複数ステップの金融計算における弱点の克服を目指す。
CIFQA(Calculation-Intensive Financial Query Answering)はマルチエージェントフレームワークであり、LLMが単独で課題解釈から数式選定、計算、回答生成までを行うのではなく、「言語理解」と「数値処理」を分離することを基本コンセプトとしている。
システム内には、質問解釈、ワークフロー選択、パラメータ抽出、計算手順の計画、回答作成を担う専用エージェントを配置。計算やルール適用の処理は、同一の入力に対して常に同じ結果を返す決定論的なPythonツールに委託する。これにより、モデルによる数値の推測への依存を低減する。
研究チームは、金利、期間、計算式、各種条件の処理が必要な定期預金(Fixed Deposit)に関する質問でシステムをテストした。その結果、計算負荷の高い質問で95.54%の精度を達成し、全体の総合精度は90.87%を記録。同テストにおける一般的なLLMの性能を上回った。
この結果は、わずかな誤差が結論を大きく左右するタスクにおいて、単にモデル規模を拡大するよりも、計算ツールを体系的に呼び出すアーキテクチャ設計の方が重要である可能性を示唆している。ただし、今回の数値は定期預金を対象とした実験結果であり、ローンや税金、投資、各国固有の金融規制などにおいても同等の精度を維持できるかについては、さらなる検証が必要である。
このアプローチは、複雑な計算式や条件を伴う銀行サービスや金融アシスタントの検証可能性向上に役立つ可能性がある。ただし実用化には、現地の金融商品や規制に即した直接的な検証が不可欠である。