Studie zeigt: KI in der psychischen Gesundheit birgt Risiken und es mangelt an echten klinischen Tests
Eine Analyse internationaler Forschungsartikel zeigt, dass LLMs das Potenzial haben, bei der Screening-Untersuchung der psychischen Gesundheit zu helfen, aber ethische und sicherheitstechnische Herausforderungen mit sich bringen.
Ein Forschungsteam unter der Leitung von Yisong Chen hat einen systematischen Literaturüberblick (Systematic Review) mit dem Titel „Large Language Models in Mental Health: A Systematic Review of Applications, Innovations, and Ethical Challenges“ veröffentlicht. Die Arbeit erschien im Journal of Industrial Integration and Management sowie auf dem Preprint-Server arXiv (cs.AI).
Für diese Studie nutzte das Team die PRISMA-Standardforschungsmethodik, um insgesamt 304 relevante Forschungsartikel zu sichten und 92 hochqualitative Arbeiten für die Analyse der Anwendungen von Large Language Models (LLMs) im Bereich der psychischen Gesundheit auszuwählen.
Die Ergebnisse zeigen, że der Anwendungsbereich von LLMs derzeit von der Früherkennung depressiver Signale und Selbstmordrisiken durch die Analyse von Social-Media-Texten und elektronischen Patientenakten bis hin zur Entwicklung von Chatbots für die Gesprächstherapie und Entscheidungshilfesystemen für medizinisches Personal reicht. Darüber hinaus kommen Innovationen wie Prompt Engineering für die spezialisierte Medizin und multimodale Integration (wie Text, Sprache und Sensordaten) zum Einsatz, um die Genauigkeit zu erhöhen.
Die Forschung weist jedoch auf erhebliche ethische Herausforderungen und Einschränkungen hin: So befindet sich der Großteil der Forschung noch im experimentellen Stadium und es fehlt an echter klinischer Validierung (Lack of Clinical Validation). Zudem bestehen Risiken hinsichtlich Genauigkeit und Sicherheit – etwa Probleme mit Halluzinationen und Sycophancy (dem Nachgeben gegenüber dem Nutzer), die zu Diagnosefehlern führen können –, sowie Bedenken bezüglich des Datenschutzes von Patientendaten, der Modelltransparenz (Black-Box) und fehlender klarer rechtlicher Rahmenbedingungen.
Dies verdeutlicht, dass KI und LLMs zwar zunehmend eine Rolle beim Screening im Bereich der psychischen Gesundheit spielen, Anwender und medizinisches Personal jedoch vorsichtig sein müssen, da die Modelle aufgrund von Sicherheitsbedenken noch nicht für den eigenständigen klinischen Einsatz bereit sind.