ทันเอไอ

นักวิจัยเสนอวิธีตรวจสอบความถูกต้องของระบบ LLM Agent แบบปิด ด้วยโมเดลสำรองต้นทุนต่ำ

งานวิจัยใหม่นำเสนอเทคนิคใช้โมเดล Open-weight ขนาดเล็กทำงานคู่ขนาน เพื่อแก้ปัญหา LLM Agent ระบบปิดที่ไม่ยอมเปิดเผยค่าความน่าจะเป็นของโทเค็น

ในปัจจุบัน การใช้งานระบบปัญญาประดิษฐ์ประเภท LLM Agent มักเผชิญกับปัญหาที่ตัวเอเจนต์อาจสร้างคำสั่ง (Tool calls) หรือเขียนโค้ดที่ผิดพลาดได้อย่างเงียบๆ โดยที่ข้อผิดพลาดจะปรากฏขึ้นก็ต่อเมื่อการทำงานได้ดำเนินการไปแล้ว นอกจากนี้ บริการแชทบอทหรือ API ของโมเดลระดับแนวหน้า (Frontier models) ส่วนใหญ่มักซ่อนค่าความน่าจะเป็นของโทเค็น (Token probabilities) ไว้ ทำให้ผู้ใช้งานไม่สามารถตรวจสอบระดับความมั่นใจของโมเดลได้ ประกอบกับการสั่งสุ่มคำตอบใหม่ (Resampling) ก็มักไม่ช่วยแก้ปัญหา เนื่องจากโมเดลขนาดใหญ่มักมีพฤติกรรมซ้ำซากและผลิตคำสั่งเดิมซ้ำๆ

เพื่อแก้ปัญหานี้ งานวิจัยเรื่อง Proxy Confidence: Auditing Black-Box LLM Agents with a Surrogate's Log-Probabilities จึงได้นำเสนอแนวทางในการดึงข้อมูลสัญญาณที่ขาดหายไปกลับคืนมา โดยอาศัยโมเดลทางเลือกขนาดเล็กแบบเปิดเผยน้ำหนัก (Open-weight surrogate) ให้ทำงานคู่ขนานไปกับโมเดลหลัก โมเดลสำรองนี้จะอ่านบริบท โครงสร้างข้อมูล (Schema) และชุดคำสั่งที่เอเจนต์เสนอขึ้นมา พร้อมทั้งประเมินคะแนนของคำสั่งนั้นผ่านค่า Log-probabilities ของตัวมันเอง

สำหรับการประเมินความถูกต้อง ทีมวิจัยได้ใช้วิธีการที่หลากหลายร่วมกันเพื่อคัดกรองข้อผิดพลาด ไม่ว่าจะเป็นกระบวนการ Teacher forcing, การคำนวณ Request-PMI เพื่อชั่งน้ำหนักความเป็นไปได้ของค่าอาร์กิวเมนต์แต่ละตัว, การใช้การตัดสินเชิงจำแนก (Discriminative verdict) ตลอดจนการทดสอบเปรียบเทียบการเลือกใช้เครื่องมือ (Tool-choice competition) ซึ่งช่วยให้สามารถตรวจสอบความผิดพลาดได้ทั้งในระดับรายละเอียดของอาร์กิวเมนต์และในภาพรวมของชุดคำสั่ง