ทันเอไอ

Un estudio revela que el formato de los datos de entrada importa más que el tamaño del modelo y eleva hasta 72 puntos la precisión de la memoria de los LLM

Un equipo de investigadores presenta RENDER y demuestra que el formato de los datos enviados a un LLM influye más en la precisión de su memoria que el tamaño del modelo

Al evaluar los sistemas de memoria y recuperación de información, o RAG (Retrieval-Augmented Generation), de los modelos de lenguaje de gran tamaño, o LLM (Large Language Model), suelen pasarse por alto los detalles sobre cómo se introducen los datos. Un sistema puede convertir el historial de una conversación en memorias, resúmenes, registros estructurados o texto sin procesar. Ahora, autores de University of Waterloo, Stanford University e investigadores independientes han presentado RENDER, una herramienta de control para benchmarks que mantiene intacta la conversación, pero modifica el formato en que la información se presenta al modelo (Reader-facing artifact).

El estudio combina una escala de paquetes de cinco niveles (Five-level packet ladder), que identifica dónde aparece el contenido de la respuesta dentro de los datos de entrada, con plantillas deterministas que simulan formatos de uso como listas de conversaciones al estilo ChatGPT, resúmenes de LangChain, registros tipados al estilo MemGPT y diálogos sin procesar. En pruebas con 500 preguntas de LongMemEval y nueve modelos, los paquetes resueltos con presupuestos equivalentes (Matched-budget resolved packets) superaron a los diálogos sin procesar truncados por actualidad (Recency-truncated raw dialogue) por entre 42,4 y 72,6 puntos. Las plantillas inspiradas en usos reales también mostraron diferencias de entre 24,6 y 48,8 puntos entre las mejores y peores puntuaciones, lo que confirma que la disposición de los datos puede cambiar significativamente el rendimiento del sistema.