ทันเอไอ

OpenAI อัปเดตระบบแคชพรอมต์สำหรับ GPT-6 ช่วยลดต้นทุนและเพิ่มความเร็ว

OpenAI เปิดตัวระบบแคชพรอมต์ (Prompt Caching) ที่ปรับปรุงใหม่สำหรับตระกูลโมเดล GPT-6 ช่วยให้นักพัฒนาประหยัดค่าใช้จ่ายและตอบสนองได้เร็วขึ้น

OpenAI ได้ประกาศอัปเดตระบบแคชพรอมต์ (Prompt Caching) ครั้งใหญ่สำหรับตระกูลโมเดล GPT-6 ซึ่งรวมถึง GPT-6 Astra, GPT-6 Sol และ GPT-6 Luna โดยมุ่งเน้นไปที่การช่วยให้นักพัฒนาและองค์กรสามารถนำบริบทเดิมกลับมาประมวลผลซ้ำได้อย่างมีประสิทธิภาพมากยิ่งขึ้น

การอัปเดตครั้งนี้มาพร้อมกับจุดเด่นด้านการลดค่าใช้จ่าย โดยมอบส่วนลดสูงสุดถึง 90% สำหรับโทเค็นที่ถูกจัดเก็บไว้ในระบบแคช พร้อมทั้งช่วยลดระยะเวลาหน่วงหรือ Latency ในการตอบสนองของระบบลงอย่างเห็นได้ชัด

นอกจากนี้ OpenAI ยังได้เพิ่มฟีเจอร์ใหม่ ๆ เพื่ออำนวยความสะดวกให้ผู้ใช้งาน เช่น หน้าจอแดชบอร์ดสำหรับติดตามอัตราการดึงข้อมูลจากแคช หรือ Cache hit rates, เครื่องมือวิเคราะห์สาเหตุเมื่อเกิดความผิดพลาดในการดึงข้อมูลแคช (Cache miss), ฟีเจอร์เตรียมข้อมูลล่วงหน้าหรือ Prewarming และความสามารถในการปรับเปลี่ยนระดับการใช้เหตุผล (Reasoning effort) ของโมเดล GPT-6 ได้โดยที่ข้อมูลในแคชไม่หลุดหาย