Studie: KI beim Verfassen von Literaturübersichten weiterhin auf Menschen angewiesen – trotz größerer Kontextfenster
Eine aktuelle Studie auf arXiv bewertet den Einsatz großer Sprachmodelle (LLMs) beim Verfassen von Literaturübersichten. Demnach ist weiterhin eine sorgfältige menschliche Prüfung nötig, um wissenschaftliche Standards zu erfüllen.
Die Studie „LLMs for Academic Workflows: An Evaluation of Literature Reviews Generated with Short and Long Context Windows of LLMs“ (arXiv:2608.26145) untersucht, wie sich die Größe des Kontextfensters (Context Window) auf die Qualität von Literaturübersichten (Literature Reviews) auswirkt, die mit großen Sprachmodellen (Large Language Models, LLMs) erstellt werden.
Dazu bewerteten die Forschenden 20 von KI erstellte Literaturübersichten, die auf wissenschaftlichen Quellen von Semantic Scholar und arXiv basierten. Zwei Forschende prüften deren Qualität anhand von 15 standardisierten Kriterien.
Die Ergebnisse zeigen, dass KI-generierte Literaturübersichten weiterhin menschliche Prüfung und Aufsicht (Human Oversight) benötigen, um die Qualitätsstandards wissenschaftlicher Publikationen zu erfüllen. Größere Kontextfenster ermöglichen es den Modellen zwar, mehr Informationen zu verarbeiten und bei längeren Eingaben den inhaltlichen Zusammenhang besser zu wahren. Probleme wie Wiederholungen und das Auslassen wichtiger Aspekte bleiben jedoch bestehen.
Die Studie verdeutlicht die derzeitigen Grenzen von KI bei anspruchsvollen wissenschaftlichen Aufgaben. Forschende und Studierende in Thailand, die LLMs zum Zusammenfassen von Studien oder Verfassen von Texten einsetzen, sollten die Ergebnisse daher stets selbst sorgfältig prüfen.