ทันเอไอ

研究が示す：プロンプト形式の変更だけでAIスコアが数十パーセント変動し、ベンチマークの信頼性に影響

複数の研究が、内容が同じであるにもかかわらず指示の形式が異なるだけで、大規模言語モデルが極端に異なる性能を示すというAI業界の大きな問題点を明らかにしている。

AIモデルの評価、すなわちベンチマークの信頼性に関する問題が、研究界で再び議論の的となっている。同じ質問を使用しても、見出し、区切り記号、例の順序といった指示の提示形式 (Prompt Formatting) を変更するだけで、大規模言語モデル (LLM) の精度スコアが大幅に変動する可能性があるという明確な証拠が示され始めたからだ。

この現象は「形式感度」(Format Sensitivity) と呼ばれており、過去の複数の研究によって確認されている。例えば、Sclar et al. (2024) の研究では、few-shotタスクにおいてプロンプトの形式をわずかに変更しただけで、LLaMA-2-13B モデルが最大で76パーセントポイントもの精度スコアの差を示すことが判明した。また、別の調査では、53種類のタスクで320種類の異なるプロンプト形式をテストした結果、GPT-3.5 モデルが56ポイントものスコアのばらつきを示すことが明らかになった。変動の中央値は6.4ポイントであり、これはリーダーボード上の順位を変動させるのに十分な高さである。

この問題は、単に回答の正誤に限定されるものではなく、事前定義された構造 (Schema Compliance) に従う能力にも及ぶ。例えば、モデルに正しい JSON データ形式で応答するよう指示した場合、研究によると、タスクの複雑さや使用するモデルによっては、成功率が0%から100%まで変動する可能性があることが示されている。

このトピックは多くの関心を集め、多数の研究に裏付けられているにもかかわらず、ニュースチーム「ทันเอไอ」が調査したところ、初期情報源の一つとされる学術論文「Format Sensitivity Index」は、現時点では arXiv データベースで存在が確認できなかった。しかし、プロンプト形式に対する感度の問題は、業界で広く認識されており、より安定した、信頼性の高いAI評価方法を今後開発するために、精力的に研究が進められている。