ทันเอไอ

Forscher: Bewertung der KI-Programmierfähigkeiten 'volatil' und anfällig für Störfaktoren.

Forschung von mehreren führenden Institutionen zeigt, dass die Bewertung der KI-Programmierfähigkeiten durch unerkannte Faktoren verfälscht werden kann, wodurch Modellrankings die tatsächliche Leistungsfähigkeit möglicherweise nicht widerspiegeln.

Die Rangliste der KI-Programmierfähigkeiten könnte weniger zuverlässig sein als angenommen, da Forscher mehrerer Institutionen die Genauigkeit aktueller Standardtests oder Benchmarks in Frage stellen. Obwohl noch keine direkte Bestätigung einer Analyse von OpenAI zu diesem Thema vorliegt, wird das Thema 'Störsignale' bei der Messung breit diskutiert. Eine Studie des Allen Institute for AI (Ai2) zeigt, dass der 'Noise' (zufällige Varianz) in einigen Benchmarks, wie MBPP, extrem hoch ist, was zu Fehlern bei der Leistungsvorhersage von Modellen von bis zu 15,7 % führt. Gleichzeitig stellte eine Untersuchung von Anthropic fest, dass bereits die Anpassung grundlegender Computerressourcen für den Test, wie z.B. RAM, zu einer Punktschwankung von bis zu 6 Prozentpunkten führen kann, was manchmal größer ist als der Punktunterschied zwischen konkurrierenden Modellen in den Bestenlisten. Dieses Problem spiegelt die Herausforderung wider, zuverlässige Messstandards für KI zu schaffen, was entscheidend für die transparente und präzise Weiterentwicklung und den Vergleich von Large Language Models (LLM) ist.