ทันเอไอ

งานวิจัยชี้ LLM เห็นตรงกันเองสูง แต่ไม่ได้แปลว่าตรงผู้เชี่ยวชาญ

งานวิจัยบน arXiv ทดสอบโมเดลภาษาขนาดใหญ่ (LLM) ในการประเมินระดับความรุนแรงของโพสต์เกี่ยวกับวิกฤตสุขภาพจิตของทหารผ่านศึก เมื่อเทียบกับผู้เชี่ยวชาญ

งานวิจัยที่เผยแพร่บนคลัง arXiv ในหมวด cs.AI ศึกษาว่า โมเดลภาษาขนาดใหญ่ (LLM) ช่วยประเมินระดับความรุนแรงของโพสต์ที่เกี่ยวข้องกับวิกฤตสุขภาพจิตของทหารผ่านศึกได้น่าเชื่อถือแค่ไหน เมื่อเทียบกับการให้ป้ายกำกับของผู้เชี่ยวชาญ

ทีมวิจัยใช้ทวีต 149 ข้อความ แบ่งความรุนแรงเป็น 5 ระดับ ให้ผู้เชี่ยวชาญด้านทหารผ่านศึก 8 คนเป็นผู้ให้ป้ายกำกับ จากนั้นนำ LLM 25 โมเดล ทั้งแบบโอเพนซอร์ส 15 โมเดลและเชิงพาณิชย์ 10 โมเดล มาทดสอบด้วยพรอมป์ต์ 8 รูปแบบ

ผลที่น่าสนใจคือ ความเห็นพ้องของผู้เชี่ยวชาญมนุษย์วัดด้วยค่า α อยู่ที่ 0.494 โดยความไม่ตรงกันส่วนใหญ่เกิดระหว่างระดับความรุนแรงที่อยู่ติดกัน ซึ่งสะท้อนว่าการแบ่งระดับความรุนแรงมีความกำกวมในตัว ขณะที่โมเดลบางกลุ่มเห็นตรงกันสูงถึง α = 0.8336 เมื่อใช้พรอมป์ต์พื้นฐาน

แต่ผู้วิจัยย้ำว่า การที่โมเดลเห็นตรงกันเองมาก ไม่ได้หมายความว่าตรงกับผู้เชี่ยวชาญ และไม่ได้หมายความว่าโมเดลตรวจพบกรณีวิกฤตรุนแรงได้อย่างน่าเชื่อถือ ความสอดคล้องกันของโมเดลกับความถูกต้องเป็นคนละเรื่องกัน

ควรระวังว่า ข้อมูลนี้มาจากบทคัดย่อของงานพรีปรินต์ที่ยังไม่ทราบว่าผ่านการตีพิมพ์ในวารสารแล้วหรือยัง และชุดข้อมูลมีเพียง 149 ข้อความ จึงยังไม่ควรสรุปกว้างๆ ว่า AI คัดกรองวิกฤตแทนคนได้แล้ว สื่ออื่นที่นำเรื่องนี้ไปเผยแพร่ก็อ้างอิงจากบทคัดย่อเดียวกัน จึงยังไม่มีการตรวจสอบผลวิจัยอย่างอิสระ