ทันเอไอ

Richard Sutton, Peneliti AI Terkemuka, Peringatkan 'The One-Step Trap': Prediksi Masa Depan Berulang Berisiko Akumulasi Kesalahan Besar

Richard S. Sutton, Bapak Reinforcement Learning, menerbitkan artikel baru yang memperingatkan para peneliti tentang kesalahan umum dalam membangun model AI yang disebut 'The One-Step Trap'.

Richard S. Sutton, peneliti berpengaruh di dunia AI dan salah satu pionir Reinforcement Learning (RL), telah menerbitkan artikel baru berjudul "The One-Step Trap (in AI Research)" melalui situs pribadinya. Situs ini juga merupakan tempat di mana ia sebelumnya menerbitkan artikel klasiknya, "The Bitter Lesson".

Artikel ini menyoroti kesalahpahaman umum di kalangan peneliti yang berpendapat bahwa membangun agen AI yang mampu memprediksi masa depan jangka panjang dapat dilakukan dengan mudah. Caranya adalah dengan menciptakan model yang secara akurat memprediksi masa depan satu langkah ke depan (one-step prediction), lalu menggunakan hasil tersebut sebagai masukan untuk memprediksi langkah berikutnya secara berulang, atau yang dikenal sebagai "roll out". Sutton menyatakan bahwa ini adalah "jebakan" yang sekilas tampak masuk akal, tetapi sebenarnya mengarah pada masalah besar.

Sutton menjelaskan bahwa jebakan ini berbahaya karena ada sebagian kebenarannya: jika model dapat memprediksi satu langkah ke depan '100% sempurna', maka pengulangan juga akan menghasilkan hasil yang sempurna. Namun, dalam kenyataan, model tidak akan pernah sempurna. Kesalahan kecil di setiap langkah akan terakumulasi dan membesar seiring waktu, hingga menjadi prediksi jangka panjang yang sangat keliru. Selain itu, perhitungan untuk mensimulasikan masa depan dengan ketidakpastian tinggi memiliki kompleksitas komputasi yang sangat besar, karena masa depan bukanlah satu jalur tunggal melainkan bercabang menjadi kemungkinan yang tak terhitung, membuat kompleksitas meningkat secara eksponensial, yang sulit dilakukan dalam praktik.

Artikel tersebut telah dikonfirmasi keasliannya sebagai karya Sutton, setelah ia sendiri memposting tautan melalui akun X (Twitter) terverifikasi miliknya. Artikel ini juga telah diperdebatkan secara luas di komunitas pengembang seperti Hacker News, mencerminkan pentingnya isu ini dalam bidang penelitian dan pengembangan AI saat ini.