ทันเอไอ

งานวิจัยชี้: แค่เปลี่ยนรูปแบบ Prompt คะแนน AI ก็แกว่งหลายสิบเปอร์เซ็นต์ กระทบความน่าเชื่อถือเบนช์มาร์ก

ผลการศึกษาหลายชิ้นเผยให้เห็นปัญหาใหญ่ในวงการ AI เมื่อโมเดลภาษาขนาดใหญ่ให้ประสิทธิภาพแตกต่างกันอย่างสุดขั้ว เพียงเพราะการจัดรูปแบบคำสั่งที่ไม่เหมือนกัน แม้เนื้อหาใจความจะเหมือนเดิมก็ตาม

ปัญหาความน่าเชื่อถือของการวัดผลหรือเบนช์มาร์ก (Benchmark) โมเดล AI กำลังเป็นที่ถกเถียงในวงการวิจัยอีกครั้ง เมื่อมีหลักฐานปรากฏชัดเจนขึ้นว่า แม้จะใช้คำถามเดียวกัน แต่แค่การเปลี่ยนรูปแบบการนำเสนอคำสั่ง (Prompt Formatting) เช่น การใช้หัวข้อ, การใช้ขีดคั่น, หรือลำดับของตัวอย่าง ก็สามารถทำให้คะแนนความแม่นยำของโมเดลภาษาขนาดใหญ่ (LLM) เปลี่ยนแปลงไปได้อย่างมหาศาล

ปรากฏการณ์นี้เรียกว่า "ความอ่อนไหวต่อรูปแบบ" (Format Sensitivity) และได้รับการยืนยันจากงานวิจัยหลายชิ้นในช่วงที่ผ่านมา ตัวอย่างเช่น งานวิจัยของ Sclar et al. (2024) พบว่าโมเดล LLaMA-2-13B มีคะแนนความแม่นยำแตกต่างกันมากถึง 76 จุดเปอร์เซ็นต์ เพียงเพราะการปรับเปลี่ยนรูปแบบของ Prompt เล็กน้อยในโจทย์แบบให้ตัวอย่าง (few-shot) ขณะที่งานสำรวจอีกชิ้นพบว่าโมเดล GPT-3.5 มีช่วงความแปรปรวนของคะแนนสูงถึง 56 จุด จากการทดสอบกับรูปแบบ Prompt ที่ต่างกัน 320 รูปแบบใน 53 ประเภทงาน โดยมีค่ามัธยฐานของความแปรปรวนอยู่ที่ 6.4 จุด ซึ่งเป็นตัวเลขที่สูงพอจะเปลี่ยนอันดับบน Leaderboard ได้

ปัญหานี้ไม่ได้จำกัดอยู่แค่ความถูก-ผิดของคำตอบ แต่ยังรวมไปถึงความสามารถในการทำตามโครงสร้างที่กำหนด (Schema Compliance) ด้วย เช่น การสั่งให้โมเดลตอบกลับเป็นรูปแบบข้อมูล JSON ที่ถูกต้อง ซึ่งมีการศึกษาพบว่าอัตราความสำเร็จอาจแกว่งได้ตั้งแต่ 0% ไปจนถึง 100% ขึ้นอยู่กับความซับซ้อนของงานและโมเดลที่ใช้

แม้หัวข้อนี้จะเป็นที่สนใจและมีงานวิจัยรองรับจำนวนมาก แต่ทีมข่าว 'ทันเอไอ' ตรวจสอบพบว่าบทความวิชาการชื่อ "Format Sensitivity Index" ซึ่งเป็นหนึ่งในแหล่งข้อมูลเบื้องต้นนั้น ยังไม่สามารถยืนยันการมีอยู่จริงบนฐานข้อมูล arXiv ได้ในขณะนี้ อย่างไรก็ตาม ประเด็นเรื่องความอ่อนไหวต่อรูปแบบ Prompt ถือเป็นปัญหาที่ได้รับการยอมรับและกำลังถูกศึกษาอย่างเข้มข้นในวงการ เพื่อพัฒนาวิธีการประเมินผล AI ที่มีเสถียรภาพและน่าเชื่อถือยิ่งขึ้นต่อไป