ทันเอไอ

研究显示：仅改变 Prompt 格式，AI 成绩波动数十个百分点，影响基准测试可靠性

多项研究揭示 AI 领域一大难题：大型语言模型仅因指令格式不同，即使核心内容一致，其性能也会表现出截然不同的极端差异。

AI 模型评估或基准测试（Benchmark）的可靠性问题在研究界再次引发争议。随着证据日益清晰，即使使用相同的问题，但仅仅改变指令的呈现形式（Prompt Formatting），例如使用标题、分隔符或示例顺序，也能使大型语言模型（LLM）的准确率得分发生巨大变化。

这种现象被称为“格式敏感性”（Format Sensitivity），并已得到近期多项研究的证实。例如，Sclar et al. (2024) 的研究发现，LLaMA-2-13B 模型在少样本（few-shot）任务中，仅因 Prompt 格式的微小调整，其准确率得分差异可高达 76 个百分点。另一项调查发现，GPT-3.5 模型在 53 种任务中测试了 320 种不同的 Prompt 格式后，得分波动范围高达 56 个点，变异中位数为 6.4 个点，这一数字足以改变排行榜（Leaderboard）上的排名。

这个问题不仅限于答案的对错，还包括遵循指定结构（Schema Compliance）的能力。例如，要求模型返回正确的 JSON 数据格式，研究发现其成功率可能从 0% 波动到 100%，具体取决于任务的复杂性和所使用的模型。

尽管这个话题备受关注并有大量研究支持，但 'ทันเอไอ' 新闻团队核实发现，名为“Format Sensitivity Index”的学术文章（作为其初步信息来源之一）目前无法在 arXiv 数据库上证实其真实存在。然而，Prompt 格式敏感性问题被公认为业界正在深入研究的问题，旨在开发更稳定、更可靠的 AI 评估方法。