Studie zeigt: Schon eine kleine Prompt-Formatänderung lässt KI-Scores um Dutzende Prozentpunkte schwanken – Beeinträchtigt Benchmark-Glaubwürdigkeit
Mehrere Studien enthüllen ein großes Problem in der KI-Branche: Große Sprachmodelle (LLMs) zeigen extrem unterschiedliche Leistungen, nur aufgrund geringfügiger Änderungen im Prompt-Format, selbst wenn der Kerninhalt identisch ist.
Das Problem der Glaubwürdigkeit von Messungen oder Benchmarks für KI-Modelle wird in der Forschungsgemeinschaft erneut diskutiert. Es gibt immer deutlichere Beweise dafür, dass selbst bei identischer Fragestellung schon eine Änderung des Prompt-Formats – wie die Verwendung von Überschriften, Trennzeichen oder die Reihenfolge der Beispiele – die Genauigkeitswerte großer Sprachmodelle (LLMs) massiv beeinflussen kann.
Dieses Phänomen wird als „Format Sensitivity“ (Formatempfindlichkeit) bezeichnet und wurde in mehreren jüngsten Studien bestätigt. Eine Studie von Sclar et al. (2024) zeigte beispielsweise, dass das Modell LLaMA-2-13B eine Genauigkeitsabweichung von bis zu 76 Prozentpunkten aufwies, allein durch geringfügige Anpassungen des Prompt-Formats bei Few-Shot-Aufgaben. Eine weitere Untersuchung ergab, dass das GPT-3.5 Modell eine Punktespannweite von bis zu 56 Punkten hatte, nachdem es mit 320 verschiedenen Prompt-Formaten in 53 Aufgabentypen getestet wurde, wobei der Median der Varianz bei 6,4 Punkten lag – ein Wert, der ausreicht, um die Platzierungen auf einer Rangliste zu verschieben.
Dieses Problem beschränkt sich nicht nur auf die Korrektheit der Antworten, sondern auch auf die Fähigkeit zur Einhaltung vorgegebener Strukturen (Schema Compliance). Wenn das Modell beispielsweise angewiesen wird, Antworten im korrekten JSON-Format zurückzugeben, haben Studien gezeigt, dass die Erfolgsrate von 0% bis 100% schwanken kann, abhängig von der Komplexität der Aufgabe und dem verwendeten Modell.
Obwohl dieses Thema auf großes Interesse stößt und durch zahlreiche Forschungen untermauert wird, stellte das Nachrichtenteam 'ทันเอไอ' fest, dass der akademische Artikel mit dem Titel „Format Sensitivity Index“, der als eine der primären Quellen diente, derzeit nicht auf der arXiv-Datenbank verifiziert werden kann. Nichtsdestotrotz ist die Problematik der Prompt-Formatempfindlichkeit ein anerkanntes Problem, das in der Branche intensiv erforscht wird, um stabilere und zuverlässigere KI-Evaluierungsmethoden zu entwickeln.
Für die breite Öffentlichkeit bedeutet dies, dass Leaderboard-Scores, die die Überlegenheit von KI-Modellen messen, möglicherweise nicht immer zuverlässig sind. Entwickler müssen zudem äußerst sorgfältig Prompts gestalten, um maximale und konsistente Leistung aus den Modellen zu erzielen.