ทันเอไอ

นักวิจัยชี้: การวัดความเก่ง AI เขียนโค้ดยัง 'ไม่นิ่ง' มีปัจจัยรบกวนสูง

งานวิจัยจากหลายสถาบันชั้นนำเผยว่าการประเมินความสามารถ AI เขียนโค้ดอาจคลาดเคลื่อนจากปัจจัยที่มองไม่เห็น ทำให้การจัดอันดับโมเดลอาจไม่สะท้อนความสามารถที่แท้จริง

การจัดอันดับความสามารถของ AI ในการเขียนโค้ดอาจไม่น่าเชื่อถืออย่างที่คิด เมื่อนักวิจัยจากหลายสถาบันเริ่มตั้งคำถามถึงความแม่นยำของแบบทดสอบมาตรฐาน หรือ benchmark ที่ใช้อยู่ในปัจจุบัน แม้จะยังไม่พบการยืนยันบทวิเคราะห์จาก OpenAI ในหัวข้อนี้โดยตรง แต่ประเด็นเรื่อง 'สัญญาณรบกวน' ในการวัดผลกำลังเป็นที่ถกเถียงในวงกว้าง งานวิจัยจาก Allen Institute for AI (Ai2) ชี้ให้เห็นว่า 'noise' (ความแปรปรวนแบบสุ่ม) ในแบบทดสอบบางตัว เช่น MBPP มีค่าสูงมาก จนทำให้การคาดการณ์ประสิทธิภาพของโมเดลมีข้อผิดพลาดสูงถึง 15.7% ขณะที่งานวิจัยจาก Anthropic พบว่าแค่การปรับตั้งค่าทรัพยากรพื้นฐานของคอมพิวเตอร์ที่ใช้ทดสอบ เช่น RAM ก็สามารถทำให้คะแนนเปลี่ยนแปลงได้ถึง 6 จุดเปอร์เซ็นต์ ซึ่งบางครั้งมากกว่าช่องว่างคะแนนระหว่างโมเดลคู่แข่งบนตารางผู้นำเสียอีก ประเด็นนี้สะท้อนให้เห็นความท้าทายในการสร้างมาตรฐานการวัดผล AI ที่เชื่อถือได้ ซึ่งเป็นหัวใจสำคัญในการพัฒนาและเปรียบเทียบโมเดลภาษาขนาดใหญ่ (LLM) ให้ก้าวหน้าต่อไปอย่างโปร่งใสและแม่นยำ