Iroh Luncurkan Mesh LLM: Teknologi Baru Gabungkan Kekuatan Banyak Komputer untuk Jalankan Model AI Raksasa Secara Terdesentralisasi
Proyek Mesh LLM dari tim iroh memperkenalkan konsep baru dalam menjalankan model bahasa besar (LLM) dengan mendistribusikan pemrosesan di seluruh jaringan komputer, memungkinkan banyak komputer kecil bersama-sama menjalankan model yang terlalu besar untuk ditangani oleh satu mesin.
Tim iroh telah meluncurkan proyek baru bernama Mesh LLM, sebuah pendekatan inovatif untuk memproses model bahasa besar (Large Language Models - LLMs) yang memanfaatkan jaringan komputer terdesentralisasi, bukan server tunggal yang besar. Ketika pengguna mengirimkan perintah, sistem dapat beroperasi dalam tiga mode: pemrosesan di perangkat pengguna, penerusan ke rekan (peer) di jaringan yang sudah memiliki model siap pakai, atau penggunaan mode khusus untuk model raksasa.
Sorotan utama arsitektur ini adalah mode "Skippy", yang dirancang khusus untuk menangani model yang sangat besar. Konsep Skippy adalah membagi model menjadi beberapa bagian berdasarkan lapisan (layer) dan mendistribusikan setiap bagian untuk diproses di mesin yang berbeda. Misalnya, mesin pertama memproses layer 0-15 dan mesin kedua melanjutkan di layer 16-31, lalu mengirimkan hasil (activation) secara berurutan dalam pipa (pipeline). Metode ini memungkinkan sekelompok komputer dengan sumber daya terbatas untuk bersama-sama menjalankan model yang tidak dapat dijalankan oleh satu mesin pun secara mandiri.
Di balik operasionalnya, teknologi jaringan iroh sendiri digunakan, di mana setiap mesin di jaringan (node) terhubung langsung secara peer-to-peer tanpa server pusat. Sistem iroh menangani kompleksitas seperti hole-punching dan NAT traversal (teknik koneksi antar jaringan pribadi) untuk menciptakan koneksi stabil dengan protokol QUIC. Untuk pengembang, Mesh LLM juga menyediakan API yang kompatibel dengan OpenAI, sehingga mudah diimplementasikan. Saat ini, lebih dari 40 model didukung, mulai dari model kecil dengan kurang dari satu miliar parameter yang dapat dijalankan di laptop, hingga model Mixture-of-Experts yang besar dengan 235 miliar parameter.
Mesh LLM dapat menjadi langkah penting yang menyederhanakan akses dan penggunaan model AI besar, sekaligus menghilangkan ketergantungan pada server mahal di pusat data. Ini membuka peluang bagi individu atau organisasi kecil untuk menjalankan AI yang kuat dengan sumber daya yang tersedia.