Studie: Input-Formatierung wichtiger als Modellgröße – LLM-Speichergenauigkeit steigt um bis zu 72 Punkte
Forschungsteam stellt RENDER vor: Die Formatierung von LLM-Inputs beeinflusst die Speichergenauigkeit stärker als die Modellgröße.
Bei der Evaluierung von Speicher- und RAG-Systemen (Retrieval-Augmented Generation) für Large Language Models (LLMs) werden Input-Details oft vernachlässigt – obwohl Systeme Gesprächsverläufe in Memory-Logs, Zusammenfassungen, strukturierte Einträge oder Rohtext umwandeln. Forscher der University of Waterloo, der Stanford University und unabhängige Wissenschaftler haben nun RENDER vorgestellt: ein Benchmark-Control-Framework, das den Dialoginhalt konstant hält, aber die für das Modell sichtbare Darstellungsform (Reader-Facing Artifacts) gezielt variiert.
Die Studie kombiniert eine fünfstufige „Packet Ladder“ zur Bestimmung der Position von Antwortinhalten im Input mit deterministischen Templates gängiger Workflows (wie ChatGPT-Listen, LangChain-Zusammenfassungen, MemGPT-typisierte Logs und rohe Dialoge). Tests mit 500 Fragen aus LongMemEval über neun Modelle hinweg zeigten, dass „Matched-Budget Resolved Packets“ rohe, nach Aktualität gekürzte Dialoge um 42,4 bis 72,6 Punkte übertreffen. Zudem ergaben sich bei praxisnahen Templates Leistungsunterschiede von 24,6 bis 48,8 Punkten, was die entscheidende Bedeutung der Input-Strukturierung unterstreicht.
Die Ergebnisse zeigen Entwicklern und Anwendern, dass die Optimierung von Datenformaten vor der Übergabe an LLMs ebenso entscheidend ist wie die Wahl größerer Modelle – was Kosten spart und die RAG-Genauigkeit steigert.