งานวิจัยชี้โมเดลภาษาถามผู้อ่านทั่วไป ทำนายผลพาดหัวดีกว่าใส่ตัวละครจำลอง
ผลศึกษาใหม่บน arXiv เผยวิธีใช้โมเดลภาษาแบบไม่กำหนดตัวละครจำลอง (Persona) ทำนายผลพาดหัวข่าวดีกว่ากลุ่มตัวละครจำลอง 10 แบบ
งานวิจัยล่าสุดจาก Alexandre Cristovão Maiorano บนคลังเอกสารวิชาการ arXiv (หมายเลข 2609.25010) ได้ศึกษาการใช้โมเดลภาษาขนาดใหญ่ (Large Language Models หรือ LLM) เป็นตัวแทนจำลองกลุ่มผู้ชม (Synthetic Personas) เพื่อทำนายปฏิกิริยาของผู้ที่มีต่อข้อความพาดหัวก่อนนำไปใช้งานจริง
ทีมนักวิจัยได้ทดสอบเปรียบเทียบระหว่างวิธีใส่กลุ่มตัวละครจำลอง 10 บุคลิกที่อิงตามข้อมูลประชากรจริง กับวิธีพื้นฐาน (Zero-shot Baseline) ที่ไม่มีการกำหนดตัวละคร โดยใช้ข้อมูลจริงจากการทดสอบ A/B testing ของเว็บไซต์ Upworthy ที่มีบันทึกสถิติการคลิกใช้งานจริง และเลือกวิเคราะห์เฉพาะ 399 การทดสอบที่มีผลผู้ชนะชัดเจนทางสถิติ
ผลการทดลองปรากฏว่า วิธีแบบไม่กำหนดตัวละครสามารถทายพาดหัวที่ชนะการทดสอบได้ถูกต้องถึง 49.2% ในขณะที่กลุ่มตัวละครจำลองทำได้ 34.6% นอกจากนี้ ค่าความสอดคล้องของอันดับ (Kendall tau) ของวิธีไม่กำหนดตัวละครอยู่ที่ 0.361 เทียบกับ 0.084 ของกลุ่มตัวละครจำลอง
อย่างไรก็ตาม งานวิจัยชิ้นนี้มีข้อจำกัดที่ระบุโดยผู้เขียนเองว่า ผลลัพธ์ดังกล่าวจำกัดอยู่แค่ในโจทย์การจัดอันดับพาดหัวข่าวชุดข้อมูลที่ทดสอบเท่านั้น ยังไม่สามารถสรุปครอบคลุมไปถึงงานโฆษณา ภาษาอื่น หรือพฤติกรรมของผู้ชมในบริบทปัจจุบันได้ทั้งหมด
สะท้อนให้เห็นว่าการตั้งค่าตัวละครจำลองซับซ้อนในโมเดลภาษาอาจไม่ได้ผลลัพธ์ที่ดีเสมอไป นักการตลาดหรือผู้สร้างคอนเทนต์จึงควรระมัดระวังและทดสอบความคุ้มค่าก่อนนำไปใช้จริง