ทันเอไอ

研究显示：AI编程能力评估仍“不稳定”，高干扰因素显著

多个顶尖机构的研究显示，AI 编程能力评估可能因隐性因素而产生偏差，导致模型排名可能无法反映其真实能力。

AI 编程能力排名可能不如预期可靠。多个机构的研究人员已开始质疑当前所用标准测试 (benchmark) 的准确性。尽管尚未发现 OpenAI 对此主题的直接分析证实，但关于测量中“噪音”的问题正受到广泛争议。 来自 Allen Institute for AI (Ai2) 的研究指出，某些测试（如 MBPP）中的“噪声”（随机变化）非常高，导致模型性能预测的误差高达 15.7%。而 Anthropic 的研究发现，仅仅调整测试计算机的基础资源设置（如 RAM）就能使分数改变多达 6 个百分点，这有时甚至超过了排行榜上竞争模型之间的分数差距。 这一问题反映了建立可靠 AI 评估标准的挑战，这是推动大型语言模型 (LLM) 透明且准确地向前发展的关键。