ทันเอไอ

Unsatz: ทดสอบ AI ว่าค้นพบสมการได้ไหม เมื่อไม่มีโครงสร้างให้ก่อน

งานวิจัยบน arXiv เสนอ benchmark ชื่อ Unsatz ที่บังคับให้ LLM agent คิดโครงสร้างของแบบจำลองเองก่อนค้นหาสมการ ซึ่งเป็นขั้นที่ benchmark เดิมมักให้มาแล้ว

งานวิจัยชื่อ Unsatz เผยแพร่บน arXiv ในหมวด cs.AI (รหัส arXiv:2611.03713v1) โดยผู้เขียน Ethan Ji, Wei Wang และ Yizhou Sun เป็นงานที่ยังอยู่ในขั้น preprint และยังไม่พบรายงานจากสื่ออิสระในขณะเขียนข่าว

ก่อนที่นักวิทยาศาสตร์จะใส่พารามิเตอร์ใด ๆ ลงในแบบจำลอง พวกเขาต้องตัดสินใจก่อนว่าแบบจำลองควรมีอะไรบ้าง มีปริมาณใดที่มองไม่เห็น ปริมาณเหล่านั้นส่งผลต่อกันอย่างไร และวัดได้อย่างไร นักฟิสิกส์เรียกรูปแบบทดลองเบื้องต้นนี้ว่า ansatz ผู้เขียนระบุว่า benchmark สำหรับการค้นพบสมการอัตโนมัติส่วนใหญ่ไม่ได้ทดสอบขั้นนี้ เพราะกำหนดตัวแปร ชุดพจน์ที่เป็นไปได้ หรือกฎที่ให้แก้ไขมาตั้งแต่ต้น

Unsatz จึงเปลี่ยนโจทย์ให้ LLM agent ต้องสร้าง ansatz ขึ้นมาเอง แต่ละโจทย์เป็นระบบจำลองที่สร้างจาก seed แบบส่วนตัว และเขียนเป็นโปรแกรมในภาษาจำลองขนาดเล็ก ครอบคลุมสมการเชิงอนุพันธ์สามัญ สมการที่มีการหน่วงเวลา สมการเชิงอนุพันธ์ย่อย discrete maps แบบจำลองแบบ static และ causal รวมถึง stochastic processes บางโจทย์มีสถานะที่ซ่อนอยู่ เซนเซอร์ที่บิดเบือน หรือช่องทางวัดที่ไม่ให้ข้อมูลที่มีประโยชน์

ชุดทดสอบมี 80 ระบบใน 20 โดเมน โมเดลภาษา 9 ตัวที่ทดสอบแก้ได้ตั้งแต่ 21% ถึง 60% ในระบบ 44 รายการ วิธี equation discovery แบบคลาสสิกแทบไม่สำเร็จ ทั้งที่ข้อมูลชุดเดียวกันมักเพียงพอ หากรู้สมการจริงแล้ว ผู้เขียนสรุปว่าความยากอยู่ที่การค้นหาโครงสร้าง ไม่ใช่การประมาณค่าพารามิเตอร์

นอกจากนี้ ทีมวิจัยทดสอบให้ agent ใช้โปรแกรมที่เคยค้นพบจากระบบที่เกี่ยวข้องมาช่วย ผลพบว่าการนำมาใช้ช่วยได้เฉพาะเมื่อระบบใหม่มีกลไกเดียวกัน และการสืบสวนครั้งแรกสำเร็จ

ผู้วิจัยใช้เฉพาะระบบจำลองที่ไม่มีข้อมูลของมนุษย์หรือข้อมูลส่วนบุคคล เป้าหมายคือวัดความสามารถเชิงวิทยาศาสตร์และงานวิจัยเชิงวิธีการ ไม่ใช่การทดสอบกับข้อมูลจริงในห้องปฏิบัติการ