ทันเอไอ

Une étude révèle que le formatage des données d’entrée compte davantage que la taille du modèle, avec jusqu’à 72 points de gain en précision de mémoire des LLM

Des chercheurs présentent RENDER et montrent que le formatage des données fournies aux LLM influe davantage sur la précision de leur mémoire que la taille du modèle

Lors de l’évaluation des systèmes de mémoire et de recherche d’information, ou RAG (Retrieval-Augmented Generation), des grands modèles de langage, ou LLM (Large Language Model), la manière dont les données sont introduites est souvent négligée. Pourtant, l’historique d’une conversation peut être converti en souvenirs, résumés, notes structurées ou texte brut. Des auteurs de University of Waterloo, Stanford University et des chercheurs indépendants viennent de présenter RENDER, un outil de contrôle expérimental qui conserve les conversations à l’identique tout en modifiant la présentation des données visibles par le modèle (Reader-facing artifact).

L’étude combine une hiérarchie de paquets à cinq niveaux (Five-level packet ladder), qui repère où le contenu de la réponse apparaît dans les données d’entrée, avec des modèles déterministes reproduisant des formats courants : historique de conversation façon ChatGPT, résumés de LangChain, notes typées façon MemGPT et dialogues bruts. Des tests menés sur 500 questions de LongMemEval avec neuf modèles montrent que les paquets résolus à budget équivalent (Matched-budget resolved packets) surpassent les dialogues bruts tronqués selon la récence (Recency-truncated raw dialogue) de 42,4 à 72,6 points. Les formats proches d’un usage réel affichent également un écart de 24,6 à 48,8 points entre les meilleurs et les moins bons scores, confirmant que la mise en forme des données peut modifier considérablement les performances du système.