ทันเอไอ

Together AI เสนอระบบคอมไพล์ต่อเนื่องเพื่อเร่ง AI inference

ทีม Together AI เผยแพร่งานวิจัยระบบ TKCC ที่ใช้ AI agent ปรับประสิทธิภาพการให้บริการโมเดลอย่างต่อเนื่อง โดยรายงานผลเร็วขึ้นสูงสุด 2.6 เท่าบนชุดทดสอบของผู้พัฒนาเอง ซึ่งยังไม่มีการทดสอบซ้ำโดยอิสระ

ทีม Together AI เผยแพร่งานวิจัยชื่อ "Together Compiler: Continual Compilation for AI Inference" บนเว็บไซต์ arXiv รหัส 2611.14681 เมื่อวันที่ 10 พฤศจิกายน 2026 ในหมวด cs.AI มี Reyna Abhyankar เป็นผู้เขียนนำพร้อมคณะ งานนี้เสนอระบบชื่อ TKCC สำหรับปรับการทำงาน inference ของโมเดล AI ให้เหมาะกับเวลาที่โมเดล ฮาร์ดแวร์ และรูปแบบทราฟฟิกเปลี่ยนไป

โจทย์ที่งานตั้งขึ้นคือ เวิร์กโหลด AI เปลี่ยนเร็วขึ้น โมเดลใหม่ออกถี่ขึ้น สถาปัตยกรรมก็หลากหลายมากขึ้น และทราฟฟิกเปลี่ยนบ่อย ผู้เขียนระบุว่าระบบเดิมต้องเลือกระหว่างความเร็วในการวัดผลกับความแม่นยำของผลวัด ระบบที่ใช้ benchmark แบบออฟไลน์ให้ค่าที่ไม่แม่นยำพอ เพราะพฤติกรรมของ primitive บางตัว เช่น Mixture-of-Experts (MoE) ขึ้นกับข้อมูลที่เข้ามาจริง

แนวทางของ TKCC คือให้ AI agent ทดลองปรับโค้ดแบบไต่เขา (hill-climbing) ไปเรื่อย ๆ โดยเปิดเครื่องประมวลผลค้างไว้เพื่อทดสอบโค้ดใหม่ ไม่ต้องเริ่มระบบใหม่ทุกครั้ง ข้อมูลนี้มาจากบล็อกของ Together AI ซึ่งเป็นแหล่งเดียวที่อธิบายวิธีทำงานในระดับนี้

ผลที่ผู้วิจัยรายงานคือ อัตราสร้างโทเคนต่อวินาทีสูงกว่าฐานเปรียบเทียบบน InferenceX สูงสุด 2.6 เท่า และสูงกว่า Megakernels บนโมเดล Llama 1B สูงสุด 1.7 เท่า ตัวเลขเหล่านี้เป็นผลภายใต้เงื่อนไขการทดลองของทีมเอง ไม่ได้เป็นความเร็วที่รับประกันในทุกงาน ส่วนเลข 252 เท่าที่บางสื่อพูดถึง The New Stack ชี้ว่าหมายถึงจำนวนการทดลองปรับประสิทธิภาพ ไม่ใช่ความเร็วของ inference

ข้อควรระวังสำคัญคือ จากแหล่งที่ตรวจได้ยังไม่พบการทดสอบซ้ำโดยบุคคลภายนอก และบทความของ New Runtime ก็อ้างบล็อกของ Together เป็นหลัก จึงควรรอผลตรวจสอบอิสระก่อนสรุปว่าระบบนี้เร็วกว่าที่อื่นจริงในวงกว้าง