ทีมนักวิจัยเสนอ SAGE ระบบคัดกรองทางสถิติช่วย AI Agent พัฒนาตัวเองอย่างปลอดภัย
งานวิจัยใหม่บน arXiv นำเสนอ SAGE กลไกคัดกรองการปรับปรุงโค้ดของ AI Agent เพื่อป้องกันข้อผิดพลาดและความถดถอยของระบบ
ในยุคที่โมเดลภาษาขนาดใหญ่หรือ LLM ถูกนำมาพัฒนาเป็น AI Agent (เอเจนต์ปัญญาประดิษฐ์) ที่มีความสามารถในการพัฒนาตัวเอง (Self-evolving) ผ่านการแก้ไขเอกสารทักษะและชุดคำสั่งการทำงานอย่างต่อเนื่อง ล่าสุดทีมนักวิจัยซึ่งประกอบด้วย Qi Zhou และ Yuanfan Li ได้เผยแพร่ผลงานวิจัยบนแพลตฟอร์ม arXiv (หมายเลข arXiv:2609.36043v1) โดยเสนอระบบที่มีชื่อว่า SAGE หรือ Statistical Acceptance Gate
กระบวนการพัฒนาตัวเองของ AI Agent แบบดั้งเดิมมักประกอบด้วยสองส่วนหลัก คือ ส่วนปรับปรุง (Optimizer) ที่คอยเสนอแนวทางการแก้ไข และส่วนคัดกรอง (Gate) ที่ทำหน้าที่ตัดสินใจว่าจะรับหรือปฏิเสธการแก้ไขนั้น ซึ่งในอดีตส่วนคัดกรองมักใช้กฎเกณฑ์แบบง่ายๆ คือการยอมรับการแก้ไขใดๆ ก็ตามที่ทำให้คะแนนการประเมินรวม (Aggregate validation score) สูงขึ้น
อย่างไรก็ตาม ทีมนักวิจัยชี้ว่าวิธีการดั้งเดิมนี้มีจุดอ่อนสำคัญสองประการ ประการแรกคือมันยอมรับการถดถอยของระบบที่ถาวร เนื่องจากบางครั้งการแก้ไขอาจช่วยเพิ่มคะแนนเฉลี่ยรวม แต่อาจไปทำลายความสามารถในจุดที่ระบบเคยทำได้ดีอยู่แล้ว ประการที่สองคือความเสี่ยงจากปัญหา Optimizer's Curse ซึ่งคะแนนสูงสุดที่สังเกตได้จากชุดข้อมูลทดสอบที่มีจำนวนจำกัดและมีสัญญาณรบกวนมักจะมีค่าสูงเกินจริง
เพื่อแก้ปัญหานี้ งานวิจัยจึงได้เสนอแนวทางหลัก 2 ประการภายใต้ระบบ SAGE ได้แก่ การเปรียบเทียบความสามารถก่อนและหลังแก้ไขแบบรายรายการ (Per-item paired comparison) เพื่อตรวจจับการถดถอยที่อาจถูกบดบังด้วยค่าเฉลี่ยรวม และการใช้การทดสอบทางสถิติแบบทางเดียว (One-sided paired test) เพื่อยอมรับการแก้ไขก็ต่อเมื่อผลลัพธ์มีความน่าเชื่อถือทางสถิติอย่างแท้จริง
ทั้งนี้ วงการวิจัย AI ยังมีการใช้ชื่อย่อ SAGE ในงานศึกษาอื่นๆ ด้วยเช่นกัน เช่น SAGE สำหรับเอเจนต์บริการ หรือระบบประเมินหน่วยความจำ ทำให้ผู้สนใจต้องตรวจสอบรายละเอียดชื่อผู้แต่งและบริบทของงานวิจัยให้รอบคอบ
ช่วยให้การพัฒนา AI Agent ที่ปรับปรุงตัวเองโดยอัตโนมัติมีความแม่นยำและปลอดภัยยิ่งขึ้น ลดความเสี่ยงที่ระบบจะฉลาดขึ้นในด้านหนึ่งแต่แย่ลงในอีกด้านหนึ่ง ซึ่งเป็นประโยชน์ต่อการพัฒนา AI ในอนาคต