ทันเอไอ

CIFQA, 멀티 에이전트 시스템으로 금융 계산 오류 줄인다

연구진이 질문 이해는 LLM에 맡기고 계산은 규칙 기반 도구로 처리하는 프레임워크를 제안하며 전체 정확도 90.87%를 기록했다고 밝혔다.

Kunjesh Parekh, Anil Kumar Tiwari, Divya Saxena 연구진은 arXiv(2608.26114)에 발표한 논문 'CIFQA'를 통해 대규모 언어 모델(LLM)의 다단계 금융 계산 답변 오류를 해결하고자 했다. 기존 모델은 그럴듯해 보이지만 실제 수치는 틀린 답변을 생성하는 한계가 있었다.

'Calculation-Intensive Financial Query Answering'의 약자인 CIFQA는 멀티 에이전트(Multi-agent) 프레임워크다. LLM이 문제 해석, 공식 선택, 계산, 답변 생성을 모두 도맡는 대신 '언어 이해'와 '수치 처리'를 분리하는 것이 핵심이다.

시스템 내부에는 질문 해석, 워크플로 선택, 파라미터 추출, 계산 계획 수립, 답변 생성을 담당하는 특화 에이전트들이 배치되어 있다. 실제 계산과 규칙 조건 적용은 Python 기반의 결정론적(Deterministic) 도구에 위임하여 모델의 수치 예측 의존도를 낮췄다.

연구진은 이자율, 기간, 수식, 다양한 조건 처리가 필요한 정기예금(Fixed Deposit) 관련 질의로 시스템을 테스트했다. 그 결과, 계산 집약적 질의에서 95.54%의 정확도를 기록했고, 전체 정확도는 90.87%로 동일 테스트의 범용 대형 LLM보다 높게 나타났다.

이는 미세한 오차가 결과에 큰 영향을 미치는 금융 분야에서 단순히 모델 크기를 키우는 것보다 계산 도구를 체계적으로 호출하는 아키텍처 설계가 더 중요할 수 있음을 보여준다. 다만 이번 결과는 정기예금 도메인에 국한된 것이므로, 대출, 세금, 투자 또는 각국 금융 규제 분야에서도 동일한 정확도를 유지할 수 있을지는 추가 검증이 필요하다.