Richard Sutton, известный исследователь ИИ, предупреждает о «ловушке одного шага», указывая, что прогнозирование будущего путем многократных итераций рискует накопить огромные ошибки
Richard S. Sutton, отец Reinforcement Learning (обучения с подкреплением), опубликовал новую статью, предупреждающую исследователей о распространенной ошибке при создании моделей ИИ, называемой «The One-Step Trap» (ловушка одного шага).
Richard S. Sutton, влиятельный исследователь в области ИИ и один из пионеров Reinforcement Learning (RL – обучения с подкреплением), опубликовал новую статью под названием «The One-Step Trap (in AI Research)» на своем личном сайте, где ранее была опубликована его основополагающая статья «The Bitter Lesson».
В этой статье указывается на распространенное заблуждение среди исследователей, которые считают, что создание ИИ-агента, способного прогнозировать долгосрочное будущее, может быть легко достигнуто путем создания модели, которая точно прогнозирует будущее шаг за шагом (one-step prediction), а затем многократно использует этот результат для прогнозирования следующего шага, что называется «roll out». Саттон утверждает, что это «ловушка», которая на первый взгляд кажется разумной, но на самом деле приводит к серьезным проблемам.
Саттон объясняет, что эта ловушка опасна, потому что в ней есть доля правды: если модель прогнозирует один шаг вперед «на 100% идеально», то многократное повторение также даст идеальные результаты. Однако в реальном мире модели не могут быть идеальными. Малейшие ошибки на каждом шаге будут накапливаться и увеличиваться, приводя к колоссально ошибочным долгосрочным прогнозам. Кроме того, вычисления для моделирования будущего с высокой степенью неопределенности обладают огромной вычислительной сложностью, поскольку будущее — это не один путь, а бесчисленное множество разветвляющихся возможностей. Это приводит к экспоненциальному (exponential) росту сложности, что делает это практически неосуществимым.
Подлинность статьи была подтверждена самим Саттоном после того как он опубликовал ссылку на нее в своем верифицированном аккаунте X (Twitter), и она широко обсуждалась в сообществе разработчиков, таком как Hacker News. Это подчеркивает важность данной проблемы в современной сфере исследований и разработок ИИ.
Эта статья указывает на фундаментальный вызов в создании ИИ, способного точно планировать на долгосрочную перспективу, что напрямую влияет на развитие будущих технологий, от беспилотных автомобилей до создания надежных экономических моделей.