ทันเอไอ

CIFQA usa un sistema multiagente para reducir errores en cálculos financieros

Investigadores proponen un framework en el que los LLM interpretan las preguntas, mientras las operaciones se delegan a herramientas basadas en reglas, con una precisión global reportada del 90,87 %

Kunjesh Parekh, Anil Kumar Tiwari y Divya Saxena publicaron en arXiv el estudio CIFQA, número 2608.26114, que busca abordar las limitaciones de los Large Language Models o LLM (modelos de lenguaje de gran tamaño) al responder preguntas financieras con cálculos de varios pasos. Estos modelos pueden generar respuestas aparentemente razonables cuyos resultados numéricos son incorrectos.

CIFQA significa Calculation-Intensive Financial Query Answering y es un framework Multi-agent (un sistema que distribuye tareas entre varios agentes). Su idea central es separar la «comprensión del lenguaje» del «procesamiento numérico», en vez de dejar que el LLM interprete el problema, elija la fórmula, calcule y responda por sí solo.

El sistema incluye agentes especializados en interpretar preguntas, seleccionar flujos de trabajo, extraer parámetros, planificar los cálculos y redactar respuestas. Los cálculos y la aplicación de reglas se delegan a herramientas desarrolladas en Python que operan de forma Deterministic (con los mismos datos, siguen el mismo proceso y producen el mismo resultado). Así se reduce la dependencia de las estimaciones numéricas del modelo.

Los investigadores probaron el sistema con preguntas sobre depósitos a plazo fijo o Fixed Deposit, que requieren gestionar tasas de interés, plazos, fórmulas y distintas condiciones. Según los resultados publicados, CIFQA alcanzó una precisión del 95,54 % en preguntas con cálculos intensivos y una precisión global del 90,87 %, superior a la de grandes LLM de uso general evaluados en la misma prueba.

Los resultados indican que, en tareas donde una pequeña desviación puede cambiar una respuesta financiera, diseñar una arquitectura que permita al modelo usar sistemáticamente herramientas de cálculo podría ser más importante que limitarse a aumentar su tamaño. Sin embargo, todas las cifras proceden de las pruebas de depósitos a plazo fijo realizadas por los investigadores, por lo que aún no puede concluirse que mantenga la misma precisión en préstamos, impuestos, inversiones o normativas financieras de distintos países.