ทันเอไอ

Iroh เปิดตัว Mesh LLM: เทคโนโลยีใหม่รวมพลังคอมฯ หลายเครื่อง รันโมเดล AI ยักษ์แบบกระจายศูนย์

โครงการ Mesh LLM จากทีม iroh นำเสนอแนวคิดใหม่ในการรันโมเดลภาษาขนาดใหญ่ โดยกระจายการประมวลผลข้ามเครือข่ายคอมพิวเตอร์ ทำให้เครื่องเล็กๆ หลายเครื่องร่วมกันรันโมเดลที่ใหญ่เกินกว่าเครื่องเดียวจะรับไหวได้

ทีม iroh ได้เปิดตัวโครงการใหม่ชื่อ Mesh LLM ซึ่งเป็นแนวทางใหม่ในการประมวลผลโมเดลภาษาขนาดใหญ่ (Large Language Models - LLMs) โดยอาศัยเครือข่ายคอมพิวเตอร์แบบกระจายศูนย์ (decentralized network) แทนการใช้เซิร์ฟเวอร์ขนาดใหญ่เพียงเครื่องเดียว เมื่อผู้ใช้ส่งคำสั่งเข้ามา ระบบสามารถเลือกทำงานได้ 3 รูปแบบ คือ ประมวลผลบนเครื่องของผู้ใช้เอง, ส่งต่อไปยังเครื่องอื่นในเครือข่าย (peer) ที่มีโมเดลพร้อมใช้งานอยู่แล้ว หรือใช้โหมดพิเศษสำหรับโมเดลขนาดยักษ์

ไฮไลต์สำคัญของสถาปัตยกรรมนี้คือโหมดที่เรียกว่า "Skippy" ซึ่งออกแบบมาเพื่อจัดการกับโมเดลที่ใหญ่มากโดยเฉพาะ แนวคิดของ Skippy คือการแบ่งโมเดลออกเป็นส่วนๆ ตามชั้น (layer) แล้วกระจายแต่ละส่วนไปประมวลผลบนเครื่องที่แตกต่างกัน เช่น ให้เครื่องที่หนึ่งประมวลผล layer 0-15 และเครื่องที่สองรับช่วงต่อที่ layer 16-31 จากนั้นจึงส่งผลลัพธ์ (activation) ไหลต่อกันไปเป็นทอดๆ (pipeline) วิธีนี้ทำให้กลุ่มคอมพิวเตอร์ที่มีทรัพยากรจำกัดสามารถร่วมพลังกันรันโมเดลที่ไม่มีเครื่องใดเครื่องหนึ่งสามารถรันได้โดยลำพัง

เบื้องหลังการทำงานใช้เทคโนโลยีเครือข่ายของ iroh เอง โดยแต่ละเครื่องในเครือข่าย (node) จะเชื่อมต่อกันโดยตรงแบบ peer-to-peer โดยไม่มีเซิร์ฟเวอร์กลาง ระบบของ iroh จะจัดการความซับซ้อนอย่างการทำ hole-punching และ NAT traversal (เทคนิคการเชื่อมต่อข้ามเครือข่ายส่วนตัว) เพื่อสร้างการเชื่อมต่อที่เสถียรด้วยโปรโตคอล QUIC สำหรับนักพัฒนา Mesh LLM ยังมี API ที่เข้ากันได้กับ OpenAI (OpenAI-compatible API) ทำให้ง่ายต่อการนำไปใช้งาน ปัจจุบันรองรับโมเดลแล้วกว่า 40 ตัว ตั้งแต่ขนาดเล็กไม่ถึงพันล้านพารามิเตอร์ที่รันบนแล็ปท็อปได้ ไปจนถึงโมเดล Mixture-of-Experts ขนาดใหญ่ถึง 235,000 ล้านพารามิเตอร์