Forschende stellen „Prompt-to-Paper“ vor: Ein KI-System zum Verfassen von Forschungsarbeiten mit Fokus auf Genauigkeit und Überprüfbarkeit
Forschende präsentieren das neue KI-Systemkonzept „Prompt-to-Paper“, um ein großes Problem aktueller KI-gestützter Forschungsschreibtools zu lösen: Diese zitieren oft unzuverlässige Quellen und generieren falsche experimentelle Ergebnisse.
Die KI-Branche macht mit dem Einsatz von Large Language Models (LLMs) bei der Erstellung von wissenschaftlichen Forschungsmanuskripten einen weiteren Schritt nach vorn. Jüngst wies jedoch ein Forschungsteam auf signifikante Probleme in akademischen Artikeln auf arXiv hin. Die Forschenden identifizierten drei schwerwiegende Mängel bei aktuellen KI-Systemen: 1) Zitierte Texte stammen nicht aus tatsächlich überprüfbaren Quellen. 2) Experimentelle Ergebnisse werden oft gefälscht, anstatt auf realen Experimenten zu basieren. 3) Es fehlt ein standardisiertes Bewertungsrahmenwerk zur Messung der Qualität von KI-generierten Forschungsarbeiten. Um diese Probleme zu lösen, präsentierte das Forschungsteam „Prompt-to-Paper“, ein Multi-Agenten-Framework, das mehrere KIs zusammenarbeiten lässt. Eine wichtige Innovation ist der Prozess der systematischen Generierung von Inhalten mit realen Referenzen (deterministic retrieval-augmented generation), um sicherzustellen, dass jede Referenz in der Forschungsarbeit bis zur Originalquelle zurückverfolgt werden kann. Ursprünglich ist das System für den Einsatz im Bereich der Bioinformatik konzipiert.
Diese Bemühung ist für die Glaubwürdigkeit der akademischen Welt von großer Bedeutung, da sie die Verbreitung falscher Forschungsinformationen verhindert und zukünftig zu KI-Tools führen könnte, die Forschende und Studierende mit größerem Vertrauen nutzen können.