ทันเอไอ

연구: LLM으로 질병 확산 모델 문헌 검토 가능… 여전히 인간 검증 필요

연구진이 536편의 질병 모델 논문에서 LLM으로 데이터를 추출하는 파이프라인을 개발했다. 논문 단위 정확도는 최대 약 81.67%에 달했으나 데이터 복잡성에 따른 편차가 큰 것으로 나타났다.

‘Leveraging Large Language Models for Systematic Literature Review of Disease Spread Models’라는 제목의 연구 논문에서 대규모 언어 모델(LLM)을 활용해 체계적 문헌 고찰(SLR)을 지원하는 실험을 진행했다. SLR은 동일한 기준에 따라 학술 연구를 검색, 검토, 분류하는 작업으로 통상 많은 시간이 소요된다.

연구팀은 동료 평가(peer-review)를 거친 536편의 학술 논문에서 모델 관련 데이터를 추출하는 다단계 파이프라인을 개발했다. 대상 논문은 모두 질병 확산 연구를 위한 행위자 기반 모델링(agent-based modeling) 분야였으며, 시스템의 추출 결과를 사람이 수행한 SLR 결과와 비교 검증했다.

논문 단위 정확도 평가에서 GPT-4.1은 약 77.95%, GPT-5.0은 약 81.67%를 기록했다. 그러나 이러한 종합 수치가 모든 유형의 데이터에서 모델이 동일하게 우수함을 의미하지는 않는다. 데이터 필드별 정확도는 32.40%에서 100.00%까지 편차가 컸으며, 복잡하거나 주관적 해석이 필요한 항목일수록 신뢰도가 낮았다.

또한 여러 LLM 간 답변 일치도가 결과 품질을 가늠하는 1차 지표가 될 수 있음이 확인됐다. 모델 간 답변이 크게 불일치할 경우 일부 응답에 환각(hallucination)이 존재할 가능성을 시사하므로, 사람이 우선 검토해야 할 필드를 선별하는 데 도움이 될 수 있다. 다만 모델 간 의견이 일치한다고 해서 그것이 항상 정답을 보장하는 것은 아니다.

따라서 이번 연구 결과는 맥락 해석이나 판단이 필요한 영역에서 연구자를 완전히 대체하기보다는, 데이터 추출 부담을 덜어주는 보조 도구로 LLM을 활용하는 방안을 뒷받침한다. 해당 논문은 arXiv의 cs.AI 분야에 공개되었으며 Winter Simulation Conference 2026에서 발표될 예정이다.