LLMによる自伝生成、誤り率が96.7%に達するとの研究結果 作話や事実の歪曲が浮き彫りに
大規模言語モデルを用いた自伝作成において、実際の生活記録と比較してほぼ全編にわたり高確率で作話(虚偽生成)が発生することが新たな研究で判明した。
2026年8月にarXivで公開された最新論文「Auditing the Synthetic Memoir: Measuring Scene-Level Confabulation in LLM-Generated Autobiography Against the Documented Record of the Life It Describes」では、大規模言語モデル(LLM)が個人の自伝を作成する際に生じる作話(Confabulation)について、初となる定量的検証が行われた。
研究著者のヘザー・レンゼ(Heather Renze)氏は、LLMに対話形式で計366日分の日ごとの自伝草案を作成させる実験を実施した。入力された初期データはテンプレート、2日分のサンプル、そして「今日の名言」のみで、生成された日々の内容は事前に定義された4段階の評価基準に基づき、実際の記録(Ground-truth corpus)と照合して詳細に検証された。
その結果、検証失敗率(Verification-failure rate)は96.7%に達し、366日中354日で検証基準を満たせなかったことが判明した。事実と完全に一致したのはわずか12日のみで、さらに事実と直接矛盾する記述も19日分(5.2%)存在した。
最も多く見られた誤りのパターンは、実在する人物、場所、雇用主などの情報と、モデルが捏造した出来事を混同させる「Grounded drift」だった。本研究は、適切なグラウンディング(根拠付け)がない場合、現在のAIモデルを用いて個人の人生の物語を生成することには依然として高い不正確さのリスクが伴うと結論付けている。
個人の記憶や伝記の処理におけるAIの重大な限界を浮き彫りにしており、高い正確性が求められる用途において、モデルの不正確さや作話(ハルシネーション)に注意を払う必要があることを示唆している。