ทันเอไอ

งานวิจัยชี้เลือกแถมชุดเครื่องมือ AI (Harness) อาจไม่ได้ช่วยเพิ่มคะแนนเขียนโค้ดอย่างที่คิด

งานวิจัยล่าสุดเผยการจับคู่โมเดลภาษาเข้ากับชุดเครื่องมือเฉพาะค่าย อาจไม่ได้สร้างความได้เปรียบด้านคะแนนอย่างชัดเจนตามที่หลายฝ่ายเคยคาดการณ์ไว้

งานวิจัยใหม่บน arXiv หมายเลข 2609.11987 โดย Mohsen Arjmandi เมื่อวันที่ 8 กันยายน 2026 ได้ทำการศึกษาเพื่อแยกผลกระทบของระบบชุดเครื่องมือ (Harness) ซึ่งประกอบด้วยเครื่องมือ คำสั่งตั้งต้น (Prompts) และการควบคุมการทำงาน ที่แปลงโมเดลแชทให้กลายเป็นระบบเขียนโค้ดอัตโนมัติ ออกจากการประเมินความสามารถของตัวโมเดลภาษา (Language Model) โดยตรง

ปกติแล้วผู้ให้บริการมักจะพัฒนาชุดเครื่องมือที่ปรับแต่งมาเฉพาะสำหรับโมเดลของตนเอง และผู้ใช้งานมักเชื่อว่าการใช้งานแบบจับคู่ตรงค่ายจะช่วยแก้โจทย์ได้ดีกว่า ทางผู้เขียนจึงได้ทดสอบข้อสมมติฐานนี้ผ่านชุดโจทย์ส่วนตัวที่ควบคุมการปนเปื้อน (Contamination-Controlled) จำนวน 256 ข้อ โดยใช้การเปรียบเทียบแบบโมเดลเดียวกันบนโจทย์ชุดเดียวกันจำนวน 80 ข้อ

การทดลองแบ่งออกเป็นการรันโจทย์บนโมเดล คลอดด์ โอปุส 4.8 (Claude Opus 4.8) ระหว่างการใช้ชุดเครื่องมือ claude-agent-sdk กับ deepagents และบน จีพีที-5.5 (GPT-5.5) ระหว่าง openai-codex SDK กับ deepagents โดยมี เจมิไน 3.5 แฟลช (Gemini 3.5 Flash) และ ดีพซีค วี 3.2 (DeepSeek-V3.2) เป็นกลุ่มเปรียบเทียบข้างเคียง ผลปรากฏว่าจากการรัน 792 จาก 800 รอบที่วางแผนไว้และถูกตรวจโดยระบบอิสระ (Oracle) พบว่า คลอดด์ โอปุส 4.8 ได้คะแนนร้อยละ 48.8 เทียบกับร้อยละ 50.0 ส่วน จีพีที-5.5 ได้ร้อยละ 55.6 เทียบกับร้อยละ 54.4

เมื่อพิจารณาช่วงความเชื่อมั่น (Confidence Interval) ที่ร้อยละ 95 ของผลต่าง พบว่าค่าคร่อมเลขศูนย์ทั้งสองคู่ ทำให้ยังไม่สามารถสรุปได้ว่าชุดเครื่องมือของค่ายไหนมีความได้เปรียบโดยเฉลี่ยอย่างชัดเจน หรือแม้แต่ข้อสรุปที่ว่าชุดเครื่องมือไม่มีผลเลยก็ตาม นอกจากนี้ยังมีข้อจำกัดสำคัญ เช่น การแบ่งประเภทโจทย์ทำขึ้นหลังจากเห็นข้อมูลแล้ว ซึ่งต้องมีการทดลองยืนยันซ้ำ รวมถึงปัญหาข้อมูลการใช้งานของโอปุสที่หายไป 58 รอบ ทำให้ยังไม่สามารถสรุปเรื่องต้นทุนที่แท้จริงได้