ทันเอไอ

ทีมนักวิจัยเปิดตัว เอคโค่ วิธีสื่อสาร 4-บิต ลดคอขวด จีพียู ประมวลผลโมเดลภาษาขนาดใหญ่

งานวิจัยใหม่นำเสนอวิธีสื่อสารแบบ 4-บิตสำหรับกระบวนการเทนเซอร์พาราเรลลิซึม เพื่อช่วยลดปัญหาคอขวดในการรับส่งข้อมูลระหว่างหน่วยประมวลผลกราฟิก

ทีมนักวิจัยซึ่งประกอบด้วย Xingyu Xie, Xiaoyong Xie, Zhouchen Lin และ Kim-Chuan Toh ได้เผยแพร่เอกสารงานวิจัยบนแพลตฟอร์ม arXiv ระบุถึงวิธีแก้ปัญหาคอขวดในการสื่อสารระหว่างหน่วยประมวลผลกราฟิก หรือ GPU ของโมเดลภาษาขนาดใหญ่ (LLM)

ในกระบวนการเทนเซอร์พาราเรลลิซึม (Tensor Parallelism) ทุกชั้นของโมเดลจะต้องจบด้วยการทำงานแบบออลรีดิวซ์ (All-Reduce) ระหว่างการคูณเมทริกซ์ ซึ่งต้นทุนการสื่อสารนี้ไม่สามารถซ่อนไว้ได้และมักจะเพิ่มขึ้นเร็วกว่าแบนด์วิดท์ของเครือข่าย การส่งข้อมูลขนาด 4-บิตแทนที่จะเป็น 16-บิตสามารถลดต้นทุนนี้ลงได้เกือบ 4 เท่า แต่วิธีเดิมมักสร้างข้อผิดพลาดจากการปัดเศษที่สะสมเพิ่มขึ้นเรื่อย ๆ ในแต่ละชั้นของโมเดล

งานวิจัยชิ้นนี้จึงได้พัฒนา เอคโค่ (Echo) ซึ่งเป็นระบบสื่อสาร 4-บิตสำหรับทั้งขั้นตอนการฝึกฝน (Training) และการอนุมาน (Inference) ที่มาพร้อมเทคนิคชดเชยความผิดพลาด (Error Compensation) ระบบนี้จะทำการเคลื่อนย้ายข้อมูลด้วยขนาด 4-บิต แต่รวมผลลัพธ์ด้วยความแม่นยำสูง ทำให้แต่ละค่าถูกแปลงความละเอียดไม่เกินสองครั้งต่อหนึ่งรอบการทำงาน และป้องกันไม่ให้ข้อผิดพลาดสะสมตัว

จากการทดสอบรายงานว่า ระบบนี้มีความเร็วมากกว่าการทำออลรีดิวซ์แบบ 16-บิต หรือ เอ็นซีซีแอล (NCCL) บนหน่วยประมวลผลกราฟิก เอ็นเดีย เอ100 (NVIDIA A100) ถึง 2.09 เท่า สำหรับข้อความขนาด 1 กิกะไบต์ ขณะที่ยังคงความแม่นยำใกล้เคียงกับมาตรฐานเดิม