ทันเอไอ

Amazon สั่งเลิกวัดผล AI เขียนโค้ดด้วยจำนวน Token และบรรทัดโค้ด ชี้เสี่ยงพฤติกรรมปั่นตัวเลข

Amazon ปรับวิธีประเมินการใช้ปัญญาประดิษฐ์ช่วยเขียนโค้ดของวิศวกรซอฟต์แวร์ หันมาเน้นผลลัพธ์ทางธุรกิจแทนการนับปริมาณ Token

อมาซอน (Amazon) เผยแพร่บันทึกภายใน (Memo) ถึงทีมวิศวกรรมซอฟต์แวร์ แจ้งปรับเปลี่ยนแนวทางการวัดผลการใช้งานปัญญาประดิษฐ์ (AI) ในการช่วยพัฒนาซอฟต์แวร์ จากเดิมที่เคยใช้วิธีนับจำนวนโทเค็น (Token) และนับปริมาณบรรทัดของโค้ด (Lines of Code) เปลี่ยนเป็นการวัดผลลัพธ์สุดท้ายแทนนโยบายเดิม

ในบันทึกภายในดังกล่าว อมาซอนระบุว่าตัวชี้วัดแบบป้อนเข้า (Input Metrics) เช่น จำนวนโทเค็นหรือบรรทัดโค้ด เป็นวิธีที่บกพร่องอย่างลึกซึ้งหากนำมาใช้เป็นเป้าหมายหลัก เนื่องจากอาจจูงใจให้เกิดพฤติกรรมที่เรียกว่า โทเค็นแม็กซ์ซิ่ง (Tokenmaxxing) หรือการกระหน่ำใช้ AI ให้ดูมีปริมาณสูงเกินจริงโดยไม่คำนึงถึงคุณภาพ หรือจูงใจให้เขียนโค้ดยาวเกินความจำเป็นทั้งที่สามารถเขียนให้สั้นและได้ผลลัพธ์เท่ากันได้

แนวทางใหม่ที่อมาซอนนำมาใช้คือ การให้วิศวกรโฟกัสและวัดผลที่ผลลัพธ์ระยะยาว (Long-term Outcomes) ที่ส่งผลต่อลูกค้าและธุรกิจจริง อย่างไรก็ตาม บริษัทอมรับว่าตัวชี้วัดผลลัพธ์นี้อาจวัดผลได้ยากในระยะสั้น จึงขอให้หัวหน้างานติดตามกลุ่มพนักงานที่ใช้ AI ในปริมาณสูงสุด 10% และต่ำสุด 10% อย่างใกล้ชิด เพื่อเรียนรู้แนวปฏิบัติที่ดีร่วมกัน

ทั้งนี้ อมาซอนไม่ได้สั่งยกเลิกการเก็บข้อมูลการใช้โทเค็นหรือบรรทัดโค้ดทั้งหมด แต่เน้นย้ำให้ใช้งานด้วยความระมัดระวังและมองเป็นเพียงตัวบ่งชี้สนับสนุนเท่านั้น ไม่ใช่เครื่องมือตัดสินประสิทธิภาพการทำงานของวิศวกร