ทันเอไอ

วิจัยเผยเบนช์มาร์ก LLM เกือบครึ่ง "อิ่มตัว" วัดอะไรไม่ได้แล้ว

งานวิจัยใหม่ที่ตีพิมพ์ในงาน ICML 2026 วิเคราะห์เบนช์มาร์ก LLM จำนวน 60 รายการ พบเกือบครึ่งสูญเสียความสามารถในการแยกแยะโมเดลเก่งๆ ออกจากกันแล้ว

ทีมนักวิจัยนำโดย Mubashara Akhtar และ Anka Reuel พร้อมผู้ร่วมวิจัยรวม 36 คนจากโครงการ EvalEval Coalition ตีพิมพ์งานวิจัยใน Proceedings of the 43rd International Conference on Machine Learning (ICML) 2026 ที่วิเคราะห์ปัญหา benchmark saturation (ภาวะเบนช์มาร์กอิ่มตัว) อย่างเป็นระบบ โดยคัดเลือกเบนช์มาร์กของ LLM จำนวน 60 รายการจากรายงานทางเทคนิคของผู้พัฒนาโมเดลรายใหญ่มาศึกษา

ทีมวิจัยนิยาม saturation ว่าคือการที่เบนช์มาร์ก "สูญเสียความสามารถในการแยกแยะที่เชื่อถือได้ระหว่างโมเดลที่มีประสิทธิภาพสูงสุด" พูดง่ายๆ คือโมเดลเก่งๆ ทำคะแนนเกือบเต็มกันหมดจนแยกไม่ออกแล้วว่าตัวไหนดีกว่ากัน พวกเขาพัฒนาดัชนี saturation แบบ uncertainty-aware (คำนึงถึงความไม่แน่นอน) จากข้อมูล leaderboard มาใช้วัดผล พร้อมกำหนดคุณสมบัติของเบนช์มาร์ก 14 ด้าน ครอบคลุมการออกแบบงาน การสร้างข้อมูล และรูปแบบการประเมิน เพื่อทดสอบสมมติฐาน 5 ข้อว่าอะไรเป็นตัวทำให้เบนช์มาร์กอิ่มตัวเร็วหรือช้า

ผลการวิเคราะห์พบว่าเบนช์มาร์กเกือบครึ่งหนึ่งแสดงอาการ saturation แล้ว และอัตรานี้เพิ่มขึ้นตามอายุของเบนช์มาร์ก ข้อค้นพบที่น่าสนใจและขัดกับความเชื่อทั่วไปในวงการคือ การปิดบังข้อมูลทดสอบไม่ให้สาธารณะ (private test set) ไม่ได้ช่วยป้องกัน saturation เลย ในขณะที่เบนช์มาร์กที่คัดสรรโจทย์โดยผู้เชี่ยวชาญต้านทาน saturation ได้ดีกว่าเบนช์มาร์กแบบ crowdsourced (ใช้คนจำนวนมากช่วยกันสร้างข้อมูล)

State of AI Substack บล็อกวิเคราะห์อิสระ สรุปงานนี้ว่าเป็นกรอบการวิเคราะห์ที่เข้มงวด และชี้ว่าอายุกับขนาดของชุดทดสอบเป็นตัวทำนาย saturation ที่สำคัญ มากกว่ามาตรการที่หลายคนเคยคิดว่าปลอดภัย เช่น การเก็บข้อมูลทดสอบเป็นความลับหรือการออกแบบเชิงปฏิปักษ์ ขณะที่ Irene Solaiman หนึ่งในทีมวิจัย ก็สรุปผ่าน X ว่าเมื่อโมเดล AI พัฒนาขึ้น เบนช์มาร์กจำนวนมากกำลังอิ่มตัวและแยกแยะโมเดลไม่ได้อีกต่อไป