Une étude révèle que les LLM échouent jusqu’à 96,7 % du temps dans la rédaction d’autobiographies, entre inventions et déformation des faits
Une nouvelle étude montre que les grands modèles de langage inventent des faits dans la quasi-totalité des autobiographies générées, par rapport aux récits de vie réels.
Une étude récente intitulée « Auditing the Synthetic Memoir: Measuring Scene-Level Confabulation in LLM-Generated Autobiography Against the Documented Record of the Life It Describes », publiée sur arXiv en août 2026, propose la première analyse quantitative de la confabulation produite par les grands modèles de langage, ou LLM (Large Language Model), lors de la rédaction de l’autobiographie d’une personne.
L’autrice, Heather Renze, a demandé à un LLM conversationnel de rédiger une autobiographie quotidienne couvrant 366 jours, en lui fournissant uniquement un modèle, deux exemples de journées et une citation du jour. Chaque entrée a ensuite été minutieusement comparée à un corpus de référence retraçant les événements réels, selon une grille d’évaluation prédéfinie à quatre niveaux.
Les résultats font état d’un taux d’échec de vérification de 96,7 % : 354 journées sur 366 n’ont pas satisfait aux critères de validation. Seules 12 journées relataient des événements conformes à la réalité. Par ailleurs, 19 journées, soit 5,2 %, contenaient des événements directement contradictoires avec les faits.
L’erreur la plus fréquente est le « Grounded drift », qui consiste à intégrer des personnes, des lieux ou des employeurs réels dans des événements entièrement inventés par le modèle. L’étude conclut que l’utilisation actuelle de modèles d’intelligence artificielle pour raconter une vie présente encore un risque élevé d’inexactitudes en l’absence d’un ancrage factuel, ou Grounding, approprié.
Cette étude met en lumière une limite majeure de l’IA dans le traitement des souvenirs et des biographies. Elle invite à rester vigilant face aux inexactitudes et aux informations inventées par les modèles dans les usages exigeant une grande fiabilité.