Un estudio señala que la IA de salud mental aún presenta riesgos y carece de ensayos clínicos reales
Un análisis de artículos de investigación internacionales revela que los LLM tienen potencial para ayudar en el triaje de salud mental, pero aún enfrentan desafíos éticos y de seguridad que requieren precaución
Un equipo de investigadores liderado por Yisong Chen y sus colegas publicó una revisión sistemática titulada "Large Language Models in Mental Health: A Systematic Review of Applications, Innovations, and Ethical Challenges", publicada en la revista Journal of Industrial Integration and Management y disponible en el repositorio de preprints arXiv (cs.AI).
En este estudio, el equipo de investigación utilizó la metodología estándar PRISMA para examinar un total de 304 artículos de investigación relacionados, seleccionando 92 de alta calidad para analizar la aplicación de modelos de lenguaje grande (Large Language Models o LLMs) en el ámbito de la salud mental.
Los resultados muestran que el alcance actual de la aplicación de los LLM abarca desde la detección de signos de depresión y la evaluación temprana del riesgo de suicidio mediante el análisis de textos en redes sociales y registros médicos electrónicos, hasta el desarrollo de agentes conversacionales (Conversational Agents) y sistemas de apoyo a la decisión para profesionales médicos. Además, se han utilizado innovaciones como la ingeniería de prompts (Prompt Engineering) para la medicina especializada y la integración multimodal (Multimodal Integration), combinando texto, voz y datos de sensores para mejorar la precisión.
Sin embargo, la investigación señala desafíos y limitaciones éticas importantes, indicando que la mayoría de los estudios aún se encuentran en fase experimental y carecen de validación clínica real (Lack of Clinical Validation). Asimismo, existen riesgos de precisión y seguridad, como el problema de las alucinaciones (Hallucination) y la adulación al usuario (Sycophancy), que pueden conducir a errores de diagnóstico, además de cuestiones relacionadas con la privacidad de los datos de los pacientes, la opacidad de los modelos (black-box) y la falta de marcos regulatorios legales claros.
Refleja que, aunque la tecnología de IA y los LLM están jugando un papel cada vez mayor en el apoyo al cribado de salud mental, los usuarios y los profesionales médicos aún deben actuar con cautela, ya que los modelos no están listos para su uso clínico independiente debido a limitaciones de seguridad.