ทันเอไอ

งานวิจัยชี้วิธีจัดรูปแบบข้อมูลเข้าสำคัญกว่าขนาดโมเดล ดันความแม่นยำความจำ LLM พุ่งสูงสุด 72 คะแนน

ทีมนักวิจัยเปิดตัว RENDER เผยวิธีจัดรูปแบบข้อมูลป้อนเข้า LLM ส่งผลต่อความแม่นยำของหน่วยความจำมากกว่าขนาดโมเดล

ในการประเมินระบบหน่วยความจำและระบบดึงข้อมูลหรือ RAG (Retrieval-Augmented Generation) ของโมเดลภาษาขนาดใหญ่หรือ LLM (Large Language Model) ทั่วไป มักมองข้ามรายละเอียดการนำเข้าข้อมูล แม้ว่าระบบอาจแปลงประวัติการสนทนาให้อยู่ในรูปของบันทึกความจำ บทสรุป บันทึกแบบมีโครงสร้าง หรือข้อความดิบ ล่าสุดคณะผู้เขียนจากมหาวิทยาลัยวอเตอร์ลู (University of Waterloo), มหาวิทยาลัยสแตนฟอร์ด (Stanford University) และนักวิจัยอิสระ ได้ร่วมกันนำเสนอ RENDER ซึ่งเป็นเครื่องมือควบคุมการทดสอบหรือเบนช์มาร์กคอนโทรล (Benchmark Control) ที่ช่วยควบคุมบทสนทนาให้คงเดิม แต่ปรับเปลี่ยนรูปแบบการนำเสนอข้อมูลที่ปรากฏต่อตัวแบบ (Reader-facing artifact)

งานวิจัยชิ้นนี้ได้ผสานบันไดแพ็กเก็ตห้าะระดับ (Five-level packet ladder) เพื่อระบุตำแหน่งที่เนื้อหาคำตอบเข้าสู่ข้อมูลนำเข้า ร่วมกับเทมเพลตเชิงกำหนดที่จำลองรูปแบบการทำงาน เช่น รายการสนทนาสไตล์แชทจีพีที (ChatGPT), บทสรุปจากแลนเชน (LangChain), บันทึกแบบมีชนิดข้อมูลสไตล์เมมจีพีที (MemGPT) และข้อความสนทนาแบบดิบ จากการทดสอบบนคำถามของลองเมมอีวาล (LongMemEval) จำนวน 500 ข้อ และโมเดล 9 ตัว พบว่าแพ็กเก็ตที่มีการจัดสรรงบประมาณอย่างเหมาะสม (Matched-budget resolved packets) สามารถทำคะแนนเอาชนะการสนทนาแบบดิบที่ถูกตัดทอนตามความใหม่ (Recency-truncated raw dialogue) ได้ถึง 42.4 ถึง 72.6 คะแนน นอกจากนี้ ในเทมเพลตสไตล์การใช้งานจริงยังพบความแตกต่างระหว่างคะแนนสูงสุดและต่ำสุดถึง 24.6 ถึง 48.8 คะแนน ซึ่งตอกย้ำว่ารูปแบบการจัดวางข้อมูลมีความสำคัญในระดับที่เปลี่ยนผลลัพธ์ของระบบได้อย่างมีนัยสำคัญ