ทันเอไอ

知名AI研究员 Richard Sutton 警告“一步陷阱”，指出重复迭代预测未来恐积聚巨大错误

强化学习之父 Richard S. Sutton 发布新文章，警告研究人员在构建AI模型时存在的常见错误，即“一步陷阱”。

AI领域极具影响力的研究员、强化学习（RL）领域的先驱之一 Richard S. Sutton 通过其个人网站发布了一篇题为《一步陷阱（在AI研究中）》的新文章，该网站也曾发布过其里程碑式的文章《痛苦的教训》。

文章指出，研究人员普遍存在的误解是，认为构建一个能够长期预测未来的AI智能体，可以通过构建一个能够准确地进行一步预测（one-step prediction）的模型，然后将结果反馈以重复预测后续步骤，即所谓的“roll out”来实现。Sutton指出，这正是“陷阱”所在，它乍看之下似乎合理，但实际上却会导致严重问题。

Sutton解释道，这个陷阱的危险之处在于它包含了一部分真实性：即如果模型能“100%完美”地预测下一步，那么重复操作也将得到完美结果。但在现实世界中，模型绝不可能完美，每一步的微小误差都会不断累积和放大，最终导致巨大的长期预测错误。此外，模拟高度不确定的未来所需的计算极其复杂，因为未来并非单一路径，而是分叉出无数种可能性，使得复杂性呈指数级增长，这在实践中是难以实现的。

该文章经 Sutton 本人通过其认证X（Twitter）账号发布链接后，被证实确系其所作，并在Hacker News等开发者社区引发广泛讨论，这反映了当前AI研发领域对这一问题的高度重视。