ทันเอไอ

เปิดตัว OpenDiscoveryTrace ชุดข้อมูลแกะรอยกระบวนการคิด AI นักวิทยาศาสตร์

นักวิจัยเปิดตัว OpenDiscoveryTrace ชุดข้อมูลสาธารณะที่บันทึกเส้นทางการทำงานและกระบวนการคิดของเอไอวิทยาศาสตร์ในทุกขั้นตอน

ในปัจจุบัน การประเมินประสิทธิภาพของปัญญาประดิษฐ์หรือเอไอ (AI) ในงานด้านวิทยาศาสตร์ มักจะพิจารณาเพียงแค่ผลลัพธ์สุดท้ายที่ได้ เช่น โค้ด สมมติฐาน หรือบทความวิจัยที่ถูกสร้างขึ้น แต่วิธีการนี้ทำให้เราไม่สามารถตรวจสอบกระบวนการคิด (Reasoning Process) วิธีการทางวิทยาศาสตร์ หรือวิเคราะห์จุดที่เอไอทำงานผิดพลาดได้ตามความเป็นจริง

ล่าสุด มีการนำเสนอชุดข้อมูลวิจัยใหม่ในชื่อ OpenDiscoveryTrace ซึ่งเผยแพร่บนแพลตฟอร์ม Hugging Face และนำเสนอในงานประชุมไอซีเอ็มแอล (ICML 2026 AI for Science Workshop) โดยเป็นชุดข้อมูลแบบเปิดชุดแรกที่มุ่งเน้นการเก็บเส้นทางการทำงาน (Trajectory) ของเอไอวิทยาศาสตร์โดยเฉพาะ

ชุดข้อมูลดังกล่าวประกอบด้วยเส้นทางการทำงานสมบูรณ์ของเอไอจำนวน 558 รายการ ครอบคลุมงานทางวิทยาศาสตร์ 4 สาขาหลัก ได้แก่ การค้นพบยา (Drug Discovery) วัสดุศาสตร์ (Materials Science) จีโนมิกส์ (Genomics) และการวิเคราะห์วรรณกรรมทางวิทยาศาสตร์ โดยในแต่ละขั้นตอนของการทำงาน จะมีการบันทึกข้อมูลแบบ 9 ฟิลด์ (9-field-per-step trace) อย่างละเอียด

ข้อมูลที่ถูกบันทึกในแต่ละขั้นตอนประกอบด้วย ความคิดของโมเดล (Thoughts) การเรียกใช้งานเครื่องมือ (Tool Calls) การสังเกตผล (Observations) ข้อผิดพลาดที่เกิดขึ้น ตัวกระตุ้นให้เกิดการปรับปรุงแก้ไข (Revision Triggers) และระดับความมั่นใจที่โมเดลรายงานออกมาเอง (Self-reported Confidence) ผ่านการปฏิบัติงานใน 124 งานวิทยาศาสตร์

จากการศึกษาเบื้องต้นผ่านชุดข้อมูลนี้ นักวิจัยพบว่า แม้โมเดลระดับแนวหน้า (Frontier Models) หลายตัวจะให้ผลลัพธ์สุดท้ายที่ถูกต้องใกล้เคียงกัน แต่พวกมันกลับมีกระบวนการคิดและประเภทของข้อผิดพลาดที่แตกต่างกันอย่างสิ้นเชิง โดยบางโมเดลอาจมีปัญหาหลักในการใช้เครื่องมือ ในขณะที่บางโมเดลอาจมีปัญหาในส่วนของการใช้เหตุผล