ทันเอไอ

AI ช่วยรีวิววรรณกรรมวิชาการได้บ้าง แต่ยังพลาดเมื่อต้องแยกบทความที่กล่าวถึงแค่ผ่านๆ

งานทดสอบใหม่บน arXiv วัดเครื่องมือ AI 6 ตัวตลอดกระบวนการรีวิววรรณกรรม พบว่าการเข้าถึงฐานข้อมูลของสถาบันช่วยเพิ่มการค้นพบบทความได้มาก แต่การแยกประเภทการอ้างอิงยังมีข้อผิดพลาดสูง

ทีมวิจัยที่มี Abdullah Al Kalbani เป็นผู้เขียนหลัก ทดสอบว่าโมเดลภาษาขนาดใหญ่ (LLM) ทำงานรีวิววรรณกรรมทางวิทยาศาสตร์ได้ครบกระบวนการหรือไม่ ไม่ได้ดูแค่ทีละงานย่อย โดยประเมินเครื่องมือ AI 6 ตัวผ่านสี่ขั้นตอน ได้แก่ การค้นหาบทความที่เกี่ยวข้อง การตีความ การสังเคราะห์ข้ามบทความ และการเสนอแนวทางวิจัยต่อ ชุดทดสอบใช้รีวิวเรื่องรูปแบบอากาศ Spanish plume ที่มนุษย์เขียนและตีพิมพ์แล้ว พร้อมฐานบทความ 102 ชิ้น

ในขั้นค้นหา เครื่องมือห้าตัวรวมกันพบบทความ 57 ชิ้น ส่วนตัวที่ทำได้ดีที่สุดพบ 42 ชิ้น เมื่อให้เครื่องมือเข้าถึงห้องสมุดของสถาบัน (institutional library access) จำนวนที่พบเพิ่มขึ้นชัดเจน คือ Codex เพิ่มจาก 42 เป็น 82 ชิ้น และ Claude Code เพิ่มจาก 15 เป็น 79 ชิ้น สะท้อนว่าสิทธิ์เข้าถึงเอกสารฉบับเต็มมีผลต่อผลลัพธ์มาก

เมื่อให้ชุดบทความครบ 102 ไฟล์ PDF เครื่องมือสามตัวระบุบทความทั้ง 18 ชิ้นที่พูดถึง Spanish plume อย่างมีสาระได้ถูกต้องทั้งหมด แต่จุดอ่อนอยู่ที่บทความอีก 84 ชิ้นที่กล่าวถึงเรื่องนี้เพียงผิวเผิน เครื่องมือเหล่านี้แยกประเภทการกล่าวถึงผิดไปราว 40% ถึง 79% ซึ่งหมายความว่าผู้ใช้ที่ไว้ใจผลสรุปอัตโนมัติโดยไม่ตรวจซ้ำอาจได้ภาพรวมของงานวิจัยที่คลาดเคลื่อน

ควรระบุด้วยว่างานนี้เป็น preprint ที่ยังไม่ผ่านการตรวจสอบจากผู้เชี่ยวชาญ (peer review) และผลส่วนการเสนอแนวทางวิจัยในเอกสารที่เผยแพร่ยังไม่มีรายละเอียดเพียงพอให้สรุปในข่าวนี้ ผลลัพธ์ที่มีอยู่จึงควรอ่านเป็นข้อค้นพบเบื้องต้น