เปิดตัว GardenBench เกณฑ์มาตรฐานวัดประสิทธิภาพปัญญาประดิษฐ์รายวัน ตรวจสอบความเปลี่ยนแปลงหลังการอัปเดต
คณะวิจัยเผยแพร่ GardenBench เครื่องมือทดสอบโมเดลภาษาขนาดใหญ่รายวัน เพื่อติดตามความเปลี่ยนแปลงทั้งด้านความแม่นยำ ต้นทุน และเวลาประมวลผลที่เกณฑ์มาตรฐานทั่วไปมองข้าม
วงการปัญญาประดิษฐ์มีเครื่องมือประเมินรูปแบบใหม่ เมื่อคณะวิจัยนำโดย เบเนดิกต์ คัมมินส์-มบูรู (Benedict Cummins-Mburu) และ โรฮัน อเล็กซานเดอร์ (Rohan Alexander) ได้เปิดตัวโครงการวิชาการล่าสุดในชื่อ GardenBench (การ์เดนเบนช์) ซึ่งเผยแพร่ผ่านแพลตฟอร์ม arXiv เมื่อปลายเดือนตุลาคมที่ผ่านมา
GardenBench ถูกออกแบบมาเป็นเกณฑ์มาตรฐาน (Benchmark) น้ำหนักเบาสำหรับการประเมินความสามารถของโมเดลภาษาขนาดใหญ่ (LLM - Large Language Models) ในงานทั่วไป โดยประกอบด้วยชุดการทดสอบ (Test Suites) จำนวน 11 ชุด ระบบจะทำการส่งชุดคำถามน้ำหนักเบาเข้าสู่โมเดลอย่างเป็นระบบ ทำให้สามารถบันทึกความเปลี่ยนแปลงของประสิทธิภาพได้แบบวันต่อวัน
จุดเด่นสำคัญของ GardenBench คือความสามารถในการตรวจจับการเปลี่ยนแปลงที่เกิดขึ้นหลังการปรับปรุงโมเดล (Post-deployment updates) ไม่ว่าประสิทธิภาพจะพัฒนาขึ้นหรือลดลง ซึ่งเป็นสิ่งที่เกณฑ์มาตรฐานแบบเดิมมักพลาดไป นอกจากนี้ระบบยังทำการติดตามต้นทุนในการรันงาน (Run costs) และเวลาที่ใช้ในการประมวลผล (Run times) ควบคู่กันไป เพื่อให้ผู้ใช้งานสามารถเปรียบเทียบความแม่นยำและฟีเจอร์ของโมเดลจากผู้ให้บริการและรุ่นต่างๆ ได้อย่างแม่นยำ
ปัจจุบันผลลัพธ์จากการประเมินของ GardenBench ถูกเปิดให้สาธารณชนเข้าถึงได้ผ่านทางหน้าเว็บไซต์แดชบอร์ดแบบสด (Live Dashboard) เพื่อเป็นอีกหนึ่งทางเลือกในการทำความเข้าใจพฤติกรรมของโมเดลปัญญาประดิษฐ์ที่มีการอัปเดตอยู่ตลอดเวลา
ช่วยให้ผู้พัฒนาและผู้ใช้งานปัญญาประดิษฐ์ในไทยเห็นความเปลี่ยนแปลงที่แท้จริงของโมเดล ทั้งด้านต้นทุนและความแม่นยำ หลังการอัปเดตระบบจากผู้ให้บริการ