ทันเอไอ

LLMによる感染症モデル論文レビューの有効性を検証、依然として人間の検証が不可欠と研究報告

感染症拡散モデルに関する536本の論文からLLMを用いてデータを抽出するパイプラインを開発。論文単位の精度は最大約81.67%に達したものの、情報の複雑さによりばらつきが大きいことが判明。

論文「Leveraging Large Language Models for Systematic Literature Review of Disease Spread Models」は、従来多大な時間を要していた学術論文の検索・読解・分類を効率化するため、LLM（大規模言語モデル）をシステマティックレビュー（SLR）に活用する実験を行った。

研究チームは、感染症の拡散を研究するマルチエージェントシミュレーション（Agent-Based Modeling）に関する査読済み論文536本から、モデル関連データを抽出するパイプラインを開発。人間が実施したSLRの結果とその出力を比較・検証した。

論文単位での精度はGPT-4.1が約77.95%、GPT-5.0が約81.67%を記録した。しかし、この全体平均値はすべてのデータ項目で均一な精度を示しているわけではない。抽出フィールド別の精度は32.40%から100.00%と幅が広く、複雑な内容や主観的な解釈を必要とする項目ほど信頼性が低下する傾向が見られた。

また、複数のLLM間で回答の一致度を測定することで、結果の信頼性を測る指標として活用できる可能性も示された。モデル間で回答の食い違いが大きい場合はハルシネーション（もっともらしい誤情報）の発生を示唆しており、人間による重点的なレビューが必要な項目を特定する目安となる。ただし、モデル間の一致が必ずしも正解を保証するわけではない点には注意が必要だ。

これらの結果から、LLMは人間の研究者を完全に代替するのではなく、特に文脈理解や主観的判断を要する領域において、データ抽出作業の負荷を軽減する補助ツールとしての利用が適切であると示唆されている。本論文はarXivのcs.AIカテゴリで公開されており、Winter Simulation Conference 2026で発表される予定。