ทันเอไอ

研究者「AIコード生成能力の評価は『不安定』、高ノイズ要因が影響」

複数の主要機関の研究が、AIのコード生成能力評価には目に見えない要因による誤差が生じ、モデルランキングが真の能力を反映していない可能性を指摘。

AIのコード生成能力のランキングは、考えられているほど信頼できないかもしれない。複数の研究機関の研究者が、現在使用されている標準テスト（ベンチマーク）の精度に疑問を投げかけ始めたためだ。OpenAIによるこのトピックに関する分析の直接的な確認はまだ見つかっていないが、測定における「ノイズ」の問題は広く議論されている。 Allen Institute for AI (Ai2)の研究は、MBPPなどの一部のテストにおける「ノイズ」（ランダムなばらつき）が非常に高く、モデルの性能予測に最大15.7%もの誤差が生じることを指摘している。一方、Anthropicの研究では、テストに使用するコンピューターの基本的なリソース設定（例：RAM）を調整するだけで、スコアが最大6パーセントポイントも変動することが判明した。これは、リーダーボード上の競合モデル間のスコア差よりも大きい場合がある。 この問題は、信頼できるAI測定基準の確立における課題を浮き彫りにしている。これは、大規模言語モデル (LLM) の透明かつ正確な開発と比較を進める上で不可欠な要素である。