ทันเอไอ

入力フォーマットの最適化はモデル規模より重要、LLMの記憶精度が最大72点向上＝研究発表

研究チームが「RENDER」を発表。LLMへの入力データの構成形式が、モデルのサイズ以上にメモリ精度へ影響することが判明。

大規模言語モデル（LLM）のメモリシステムや検索拡張生成（RAG）の一般的な評価では、会話履歴がメモリノート、要約、構造化ログ、未加工テキストのいずれに変換されているかといった入力データの詳細が見落とされがちです。こうした中、University of Waterloo、Stanford University、および独立系研究者のチームが「RENDER」を発表しました。これは会話内容を同一に保ちながら、モデルに提示するデータ形式（Reader-facing artifact）を変更して比較検証を行うベンチマーク制御ツールです。

本研究では、回答内容が入力内のどの位置に入るかを特定する「5段階パケットラダー（Five-level packet ladder）」と、ChatGPTスタイルの対話リスト、LangChainによる要約、MemGPTスタイルの型付きログ、未加工の会話テキストといった実運用パターンを模した決定論的テンプレートを組み合わせました。LongMemEvalの500問と9種類のモデルでテストした結果、適切にトークン予算を配分したパケット（Matched-budget resolved packets）は、直近データのみを残して切り捨てた未加工対話（Recency-truncated raw dialogue）を42.4〜72.6ポイント上回りました。さらに、実用テンプレート間でも最大48.8ポイントのスコア差が生じ、データの配置・構成形式がシステムの成果を大きく左右することが実証されました。