ทันเอไอ

นักวิจัยเปิดตัว Benchy ภาษาเชิงความหมายและเอนจินกลาง สำหรับใช้วัดประสิทธิภาพโปรแกรม AI

นักวิจัยเผยแพร่เอกสารวิชาการเสนอ Benchy ภาษาและเอนจินมาตรฐานสำหรับทำ Benchmark โปรแกรม AI ให้เป็นระบบเดียวกัน

ในวงการพัฒนาปัญญาประดิษฐ์ การประเมินความสามารถของระบบในปัจจุบันมักมีความหลากหลายและขาดมาตรฐานกลางที่ชัดเจน ล่าสุดมีรายงานวิชาการที่เผยแพร่บนคลังบทความวิชาการ arXiv เมื่อวันที่ 23 กันยายน 2026 นำเสนอเครื่องมือใหม่ในชื่อ "Benchy" ซึ่งถูกพัฒนาขึ้นเพื่อเป็นภาษาเชิงความหมาย (Semantic Language) และเอนจินการประมวลผล (Execution Engine) สำหรับการทำ Benchmark โปรแกรม AI โดยเฉพาะ

หัวใจสำคัญของ Benchy คือการแยกองค์ประกอบของการทดสอบออกจากตัวระบบ AI ที่นำมาประเมินอย่างเด็ดขาด โดยโครงสร้างการทำงานถูกกำหนดด้วยสูตร $B = (P, S, D)$ ซึ่งประกอบด้วยโปรแกรมสำหรับการทดสอบ (Program) ฟังก์ชันการให้คะแนน (Scoring function) และชุดข้อมูล (Dataset) จากนั้นการทดสอบจริงจะเกิดขึ้นเมื่อนำระบบ AI มาผูกเข้ากับชุดการทดสอบนี้ในรูปแบบ $R = (B, AI)$

ในด้านการใช้งาน นักพัฒนาสามารถเขียนชุดการทดสอบด้วยรูปแบบไฟล์ YAML มาตรฐาน ที่มีการจัดหมวดหมู่แนวคิดเชิงความหมายตามโครงสร้างความรู้ (Ontology) ร่วมกัน ก่อนที่เอนจินจะทำการคอมไพล์เป็นรูปแบบไฟล์ JSON เพื่อนำไปประมวลผลต่อไป โดยกระบวนการคอมไพล์นี้จะเปลี่ยนแค่รูปแบบการแสดงผลโดยไม่เปลี่ยนแปลงความหมายเดิม และไม่มีการแก้ไขนิยามที่ไม่ถูกต้องโดยพลการ นอกจากนี้ โครงการดังกล่าวยังมีซอร์สโค้ดและเอกสารเปิดให้ศึกษาผ่านแพลตฟอร์ม GitHub ของทีมพัฒนา เพื่อให้ผู้สนใจสามารถนำไปประยุกต์ใช้ในการวัดผลระบบ AI ได้อย่างเป็นระบบ