Исследование указывает на риски ИИ в сфере психического здоровья и нехватку реальных клинических испытаний
Анализ международных научных публикаций показал, что LLM обладают потенциалом для скрининга психического здоровья, однако требуют внимания к этическим проблемам и вопросам безопасности.
Исследовательская группа под руководством Исун Чэня (Yisong Chen) опубликовала систематический обзор (Systematic Review) под названием «Large Language Models in Mental Health: A Systematic Review of Applications, Innovations, and Ethical Challenges», который вышел в журнале Journal of Industrial Integration and Management и на сервере препринтов arXiv (cs.AI).
В ходе исследования ученые использовали методологию PRISMA для отбора 304 профильных научных статей, из которых отобрали 92 высококачественные работы для анализа применения больших языковых моделей (LLM) в области психического здоровья.
Результаты показал, что текущие сферы применения LLM варьируются от выявления признаков депрессии и ранней оценки риска суицида путем анализа текстов в социальных сетях и электронных медицинских карт до разработки разговорных агентов (Conversational Agents) для психотерапии и систем поддержки принятия решений для медицинских работников. Кроме того, применяются такие инновации, как промпт-инжиниринг (Prompt Engineering) для специализированной медицины и мультимодальная интеграция (Multimodal Integration) текстов, голоса и данных с датчиков для повышения точности.
Тем не менее, исследование указывает на серьезные проблемы и этические ограничения. Отмечается, что большинство работ находятся на экспериментальной стадии и испытывают недостаток реальной клинической валидации (Lack of Clinical Validation). Кроме того, существуют риски, связанные с точностью и безопасностью, такие как галлюцинации (Hallucination) и поддакивание пользователю (Sycophancy), которые могут привести к ошибкам в диагностике, а также вопросы конфиденциальности данных пациентов, «черного ящика» (прозрачности моделей) и отсутствия четких нормативно-правовых рамок.
Это показывает, что несмотря на растущую роль ИИ и LLM в скрининге психического здоровья, пользователи и медицинские работники должны соблюдать осторожность, поскольку модели еще не готовы к самостоятельному клиническому применению из-за ограничений безопасности.