ทันเอไอ

Übersichtsarbeit warnt: KI-Training mit synthetischen Daten riskiert Model Collapse

Ein wissenschaftlicher Review bündelt Belege und Gegenmaßnahmen zum Model Collapse, der auftreten kann, wenn neue Modelle wiederholt auf KI-generierten Daten trainiert werden.

Die Übersichtsarbeit „Reviewing Model Collapse and Countermeasures“, veröffentlicht auf arXiv in der Kategorie cs.AI und auf der IEEE International Conference on Advances in Artificial Intelligence and Machine Learning (AAIML) 2026, analysiert den Forschungsstand zu Model Collapse (Leistungsabfall von Modellen durch wiederholtes Training auf synthetischen Daten) sowie dessen Ursachen, Auswirkungen und Gegenmaßnahmen.

Das Problem entsteht in einem Self-consuming Cycle (einem Kreislauf, in dem KI-generierte Daten zum Training nachfolgender Modellgenerationen genutzt werden). Obwohl Synthetic Data (synthetische Daten) den Bedarf an gewaltigen Mengen realer Daten senkt, kann die Wiederverwendung ohne ausreichende Realdaten dazu führen, dass sich Fehler über Generationen hinweg anhäufen und verstärken – vergleichbar mit dem wiederholten Fotokopieren einer Kopie, bei dem Details des Originals nach und nach verloren gehen.

Erste Symptome zeigen sich darin, dass das Modell das Verständnis für seltene Fälle oder die „Tails of distribution“ (Randbereiche der Datenverteilung) verliert. In der Folge werden die Ausgaben homogener, repetitiver und weniger vielfältig. Setzt sich das Recursive Training (fortlaufendes Training mit Daten früherer Modellgenerationen) fort, kann die Degeneration so gravierend werden, dass das Modell verzerrte oder unbrauchbare Ergebnisse liefert, was sich nur schwer wieder rückgängig machen lässt.

Zu den in der Forschung vorgeschlagenen Lösungsansätzen zählen die Kombination menschlicher und synthetischer Daten, Data Curation (gezielte Auswahl und Qualitätsprüfung von Daten) sowie Feedback-Mechanismen (Rückkopplungsschleifen zur Überprüfung und Anpassung der Ausgaben). Ziel ist es, zu verhindern, dass KI-generierte Inhalte zur primären Trainingsquelle ohne Bezug zur realen Welt werden.

Dennoch ist das Ausmaß des Risikos umstritten. Einige Forschende betonen, dass geschlossene Testkreisläufe drastischer ausfallen als reale Szenarien, da praktische Systeme meist kontinuierlich mit neuen menschlichen Daten gespeist werden und nicht zu 100 % auf synthetischen Daten basieren. Der Bericht besagt daher nicht, dass synthetische Daten zwangsläufig zum Kollaps führen, unterstreicht jedoch, dass Herkunft, Mischungsverhältnis, Vielfalt und Qualitätskontrolle der Daten mit der Zunahme von KI-Inhalten im Internet entscheidend werden.