ทันเอไอ

LLM 자서전 작성 시 오류율 96.7% 달해… 허위 정보 생성 및 사실 왜곡 문제 발견

새 연구에 따르면 대규모 언어 모델을 활용한 자서전 생성 시 실제 삶의 기록 대비 허위 정보 생성률이 거의 전부에 달하는 것으로 나타났다.

2026년 8월 arXiv에 발표된 최신 연구 "Auditing the Synthetic Memoir: Measuring Scene-Level Confabulation in LLM-Generated Autobiography Against the Documented Record of the Life It Describes"는 대규모 언어 모델(LLM)이 인물의 자서전을 작성할 때 발생하는 허위 정보 생성(Confabulation)에 대해 최초로 정량적 검증을 진행했다.

연구 저자인 Heather Renze는 LLM에 템플릿, 2일 치 샘플, 오늘의 명언만을 초기 프롬프트로 입력해 366일간의 일별 자서전 초안을 작성하도록 했다. 이후 각 날짜의 내용을 사전 정의된 4단계 평가 기준에 따라 실제 기록(Ground-truth corpus)과 정밀 대조 검증했다.

연구 결과, 검증 실패율(Verification-failure rate)은 96.7%에 달해 366일 중 354일의 내용이 검증을 통과하지 못했다. 실제 사실과 부합한 날은 12일에 불과했으며, 실제 기록과 정면으로 모순되는 사건도 19일(5.2%)에 달했다.

가장 두드러진 오류 패턴은 실제 존재하는 인물, 장소, 고용주 등을 모델이 임의로 꾸며낸 사건과 결합하는 "Grounded drift" 현상이었다. 이 연구는 적절한 Grounding 없이는 현재의 AI 모델을 활용한 생애 서사 생성에 부정확한 정보가 포함될 위험이 여전히 높다고 결론지었다.