Estudo mostra que a formatação dos dados de entrada importa mais que o tamanho do modelo e eleva a precisão da memória de LLMs em até 72 pontos
Pesquisadores apresentam o RENDER e mostram que a forma de estruturar os dados enviados a LLMs afeta mais a precisão da memória que o tamanho do modelo
Nas avaliações de sistemas de memória e recuperação de dados, ou RAG (Retrieval-Augmented Generation), para grandes modelos de linguagem, ou LLMs (Large Language Models), os detalhes da entrada de dados costumam ser ignorados. O histórico de conversas pode ser convertido em registros de memória, resumos, dados estruturados ou texto bruto. Agora, autores da University of Waterloo, Stanford University e pesquisadores independentes apresentaram o RENDER, um controle de benchmark que mantém as conversas inalteradas, mas modifica o formato das informações exibidas ao modelo (reader-facing artifact).
O estudo combinou uma escala de pacotes em cinco níveis (five-level packet ladder), usada para identificar onde o conteúdo da resposta aparece na entrada, com templates determinísticos que simulam formatos reais, como listas de conversas no estilo ChatGPT, resumos do LangChain, registros tipados no estilo MemGPT e diálogos em texto bruto. Em testes com 500 perguntas do LongMemEval e nove modelos, os pacotes resolvidos com orçamento equivalente (matched-budget resolved packets) superaram diálogos brutos truncados por recência (recency-truncated raw dialogue) em 42,4 a 72,6 pontos. Nos templates inspirados em aplicações reais, a diferença entre a maior e a menor pontuação variou de 24,6 a 48,8 pontos, reforçando que a organização dos dados pode alterar significativamente o desempenho do sistema.
O estudo mostra a desenvolvedores e usuários de IA na Tailândia que otimizar o formato dos dados antes de enviá-los a um LLM pode ser tão importante quanto escolher um modelo maior, reduzindo custos e aumentando a precisão de sistemas RAG.