ทันเอไอ

นักวิจัยตีแผ่จุดบอด AI เอเจนต์เรียกใช้เครื่องมือปลอม พร้อมชูกลไกตรวจสอบใหม่

งานวิจัยล่าสุดชี้ปัญหาใหญ่ของ LLM เอเจนต์ที่มักเรียกใช้เครื่องมือที่ไม่มีอยู่จริง พร้อมเสนอแนวทางแก้ไขแบบปิด

วงการปัญญาประดิษฐ์กำลังเผชิญกับความท้าทายใหม่ เมื่อนักวิจัยได้เผยแพร่บทความวิชาการเรื่อง Closed-World Resolution Against Tool Hallucination in LLM Agents บนระบบคลังข้อมูล arXiv ซึ่งชี้ให้เห็นว่า ระบบโมเดลภาษาขนาดใหญ่ (Large Language Model หรือ LLM) ที่ถูกเสริมความสามารถด้วยเครื่องมือภายนอก มักมีพฤติกรรมเรียกใช้เครื่องมือที่ไม่มีอยู่จริงและส่งอาร์กิวเมนต์ (Arguments หรือค่าส่งผ่านเพื่อการประมวลผล) ที่ไม่ตรงตามโครงสร้างที่กำหนด

ในปัจจุบัน มาตรการรักษาความปลอดภัยและการป้องกันที่มีอยู่ส่วนใหญ่ ถูกออกแบบมาเพื่อการเลือกเครื่องมือที่ถูกต้อง หรือควบคุมการทำงานของเครื่องมือที่มีอยู่จริง ซึ่งสมมติฐานหลักคือการเรียกใช้งานนั้นอ้างอิงถึงเครื่องมือที่มีอยู่จริงในระบบ ทำให้เกิดจุดบอดเชิงโครงสร้าง เพราะการเรียกเครื่องมือที่เกิดอาการฮัลซิเนชัน (Hallucination หรืออาการที่ AI สร้างข้อมูลเท็จขึ้นมาเอง) ไม่ได้ผ่านการตัดสินใจจากระบบคัดกรองใดๆ ระบบจึงไม่สามารถปฏิเสธคำสั่งเหล่านั้นได้

เพื่อแก้ปัญหานี้ งานวิจัยดังกล่าวได้นำเสนอการจัดหมวดหมู่ปัญหาการเรียกเครื่องมือปลอมออกเป็น 5 คลาส (H1-H5) พร้อมทั้งเปิดตัวชุดข้อมูลทดสอบมาตรฐานที่เรียกว่า Hallucinated-Tools Benchmark (HTB) เพื่อใช้วัดประสิทธิภาพของระบบป้องกัน และเสนอแนวทางเชิงปฏิบัติที่เรียกว่า Resolution Rung ซึ่งเป็นระบบตรวจสอบแบบปิด (Closed-world) ที่ตรวจสอบทะเบียนเครื่องมือและการจับคู่ลายเซ็นก่อนที่ระบบจะนำไปประมวลผลจริง

ผลจากการศึกษาและทดสอบยังพบข้อสังเกตที่น่าสนใจว่า ปัญหาการเรียกเครื่องมือที่ไม่มีอยู่จริงนี้ ไม่ได้มีความสัมพันธ์โดยตรงกับขนาดของตัวโมเดล กล่าวคือ ทั้งโมเดลขนาดใหญ่และขนาดเล็กต่างก็พบปัญหานี้ในระดับที่ใกล้เคียงกัน ซึ่งสะท้อนให้เห็นว่าข้อจำกัดนี้เป็นปัญหาเชิงโครงสร้างของสถาปัตยกรรมเอเจนต์ในปัจจุบันที่ทุกค่ายต้องหาทางรับมือ