ทันเอไอ

Pesquisa aponta que LLMs erram em até 96,7% ao escrever autobiografias, com invenções e distorções dos fatos

Novo estudo revela que autobiografias geradas por modelos de linguagem de grande porte contêm informações inventadas em quase todos os casos quando comparadas a registros reais.

Um estudo recente intitulado "Auditing the Synthetic Memoir: Measuring Scene-Level Confabulation in LLM-Generated Autobiography Against the Documented Record of the Life It Describes", publicado no arXiv em agosto de 2026, realizou a primeira análise quantitativa da confabulação de modelos de linguagem de grande porte, ou LLMs (Large Language Models), ao escrever autobiografias.

A autora do estudo, Heather Renze, pediu a um LLM conversacional que redigisse uma autobiografia diária cobrindo 366 dias. Como dados iniciais, forneceu apenas um modelo, dois dias de exemplo e uma citação para cada dia. Depois, verificou detalhadamente a precisão de cada entrada, comparando-a a um conjunto de registros reais (ground-truth corpus) segundo quatro níveis de avaliação definidos previamente.

Os resultados mostraram uma taxa de falha na verificação de 96,7%: 354 dos 366 dias não atenderam aos critérios de confirmação. Apenas 12 dias apresentaram eventos compatíveis com os fatos. Além disso, 19 dias, ou 5,2%, continham acontecimentos diretamente contraditórios à realidade.

O erro mais comum foi o chamado "grounded drift", no qual pessoas, lugares ou empregadores reais são combinados com eventos inventados pelo modelo. O estudo conclui que usar os atuais modelos de inteligência artificial para narrar histórias de vida ainda envolve alto risco de informações incorretas sem uma fundamentação de dados, ou grounding, adequada.