ทันเอไอ

Исследование: LLM помогают анализировать модели болезней, но требуют проверки человеком

Исследователи создали пайплайн на базе LLM для извлечения данных из 536 работ по моделированию эпидемий: точность на уровне статей достигла 81,67%, но сильно зависит от сложности информации.

В исследовании «Leveraging Large Language Models for Systematic Literature Review of Disease Spread Models» протестировано применение больших языковых моделей (LLM) для систематического обзора литературы (SLR), который обычно требует много времени на поиск, чтение и классификацию научных публикаций по единым критериям.

Команда разработала пайплайн для извлечения данных о моделировании из 536 рецензируемых статей, посвященных агентному моделированию (agent-based modeling) распространения болезней. Затем результаты сопоставили с SLR, выполненным вручную исследователями.

На уровне статей точность GPT-4.1 составила около 77,95%, а GPT-5.0 — порядка 81,67%. Однако эти сводные цифры не означают одинаковую надежность для всех типов данных: при оценке отдельных полей точность варьировалась от 32,40% до 100,00%, при этом сложные и требующие субъективной оценки поля показали худшие результаты.

Работа также показала, что уровень согласованности между несколькими LLM может служить первичным индикатором качества. Сильные расхождения в ответах могут сигнализировать о галлюцинациях (генерации правдоподобной, но некорректной информации), помогая выделить поля для приоритетной проверки человеком. При этом даже единогласие моделей не гарантирует полной достоверности.

Выводы подтверждают, что LLM эффективны как инструмент автоматизации рутинного сбора данных, но не способны полностью заменить ученых, особенно там, где необходимы контекстная интерпретация и экспертное суждение. Препринт опубликован на arXiv в категории cs.AI и запланирован к представлению на Winter Simulation Conference 2026.