ทันเอไอ

유명 AI 연구자 리처드 서튼, '원스텝 함정' 경고 "반복적 미래 예측, 막대한 오류 축적 위험"

Reinforcement Learning의 아버지 Richard S. Sutton이 새 논문을 발표하여, 'The One-Step Trap' (원스텝 함정)이라고 불리는 AI 모델 구축 시 흔히 발생하는 오류에 대해 연구자들에게 경고했다.

AI 분야의 영향력 있는 연구자이자 Reinforcement Learning (RL, 강화 학습)의 선구자 중 한 명인 Richard S. Sutton은 자신의 개인 웹사이트를 통해 "The One-Step Trap (in AI Research)"이라는 제목의 새 논문을 발표했다. 이는 과거 명문 "The Bitter Lesson"을 발표했던 곳과 동일하다.

이 논문은 연구자들 사이에서 흔히 발견되는 오해를 지적한다. 즉, 장기적인 미래를 예측할 수 있는 AI 에이전트를 구축하는 것이, 정확하게 한 단계씩 미래를 예측하는 모델 (one-step prediction)을 구축하고 그 결과를 반복적으로 다음 단계 예측에 다시 입력하는 방식, 즉 "roll out"을 통해 쉽게 달성될 수 있다고 생각하는 것이다. Sutton은 이를 겉보기에는 합리적이지만 실제로는 큰 문제로 이어지는 "함정"이라고 지적한다.

Sutton은 이 함정이 부분적으로는 진실을 담고 있기 때문에 위험하다고 설명한다. 즉, 모델이 한 단계 앞을 '100% 완벽하게' 예측할 수 있다면 반복적인 예측 또한 완벽한 결과를 제공할 것이다. 그러나 현실 세계에서 모델은 결코 완벽할 수 없으며, 각 단계의 작은 오류들이 계속 축적되고 확대되어 결국 엄청나게 잘못된 장기 예측으로 이어진다. 또한, 높은 불확실성을 가진 미래를 시뮬레이션하기 위한 계산은 엄청난 계산 복잡성을 가진다. 미래는 단일한 경로가 아니라 무수한 가능성으로 분기되기 때문에 복잡성이 기하급수적으로 (exponential) 증가하여 실질적으로 어렵게 만들기 때문이다.

해당 논문은 Sutton이 직접 자신의 인증된 X (Twitter) 계정을 통해 링크를 게시한 후 Hacker News와 같은 개발자 커뮤니티에서 폭넓게 논의되었으며, 이는 현재 AI 연구 및 개발 분야에서 이 문제의 중요성을 보여준다.