ทันเอไอ

กลุ่มวิจัยเยอรมันเปิดตัว 'Soofi S' โมเดลภาษาแบบเปิด 30B ทำคะแนนสูงสุด แซงหน้ารุ่นใหญ่ในภาษาอังกฤษและเยอรมัน

กลุ่มสถาบันวิจัยและบริษัทในเยอรมนีร่วมกันเปิดตัว Soofi S โมเดล AI สองภาษาแบบเปิด ที่ใช้เทคนิคใหม่ทำให้มีประสิทธิภาพสูงและทำคะแนนทดสอบมาตรฐาน (benchmark) ได้เป็นอันดับต้นๆ ของโลก

กลุ่มความร่วมมือด้าน AI ในเยอรมนี ซึ่งประสานงานโดยสมาคม AI เยอรมัน (KI Bundesverband) ได้เปิดตัวโมเดลภาษาขนาดใหญ่ (LLM) แบบเปิดตัวใหม่ล่าสุดในชื่อ "Soofi S 30B-A3B" ที่สร้างความฮือฮาด้วยการทำคะแนนทดสอบมาตรฐาน (benchmark) ได้สูงสุดในกลุ่มโมเดลแบบเปิดเต็มรูปแบบ ทั้งในภาษาอังกฤษและเยอรมัน แซงหน้าโมเดลชั้นนำอย่าง OLMo 3 32B และ Apertus 70B ไปได้

จุดเด่นของ Soofi S อยู่ที่สถาปัตยกรรมแบบผสมผสานระหว่าง Mamba และ Transformer โดยใช้เทคนิคที่เรียกว่า Mixture-of-Experts (MoE) หรือ 'ส่วนผสมผู้เชี่ยวชาญ' แม้โมเดลจะมีพารามิเตอร์รวมถึง 3.16 หมื่นล้านตัว แต่เทคนิค MoE ทำให้ในแต่ละครั้งที่ประมวลผลคำ (token) จะมีการใช้งานพารามิเตอร์เพียงประมาณ 3.2 พันล้านตัวเท่านั้น ซึ่งช่วยให้โมเดลมีความเร็วและประสิทธิภาพสูงโดยยังคงความสามารถของโมเดลขนาดใหญ่ไว้

เบื้องหลังโครงการนี้คือความร่วมมือจากหลายสถาบันชั้นนำ เช่น Fraunhofer Institutes, DFKI, มหาวิทยาลัยดาร์มชตัดท์ และบริษัท AI อย่าง Ellamind โดยได้รับการสนับสนุนงบประมาณราว 20 ล้านยูโรจากกระทรวงเศรษฐกิจและพลังงานแห่งสหพันธ์เยอรมนี ภายใต้โครงการ IPCEI-CIS ของยุโรป การฝึกฝนโมเดลเกิดขึ้นระหว่างเดือนมีนาคมถึงพฤษภาคมที่ผ่านมา โดยใช้ Nvidia B200 GPU สูงสุดถึง 512 ตัว ที่ศูนย์ข้อมูลของ Deutsche Telekom ในเมืองมิวนิก รวมเป็นเวลากว่า 253,000 ชั่วโมงการประมวลผลของ GPU (GPU-hours)

ในด้านความสามารถการเขียนโค้ด Soofi S ทำคะแนนได้น่าประทับใจบนชุดทดสอบ HumanEval ที่ 73.8% และ MBPP ที่ 70.2% ซึ่งเป็นตัวเลขที่แข็งแกร่งสำหรับโมเดลภาษาทั่วไปที่ไม่ได้เน้นการเขียนโค้ดเป็นพิเศษ การเปิดตัวครั้งนี้ถือเป็นก้าวสำคัญที่แสดงให้เห็นถึงศักยภาพของยุโรปในการพัฒนาเทคโนโลยี AI พื้นฐานของตนเอง เพื่อลดการพึ่งพาเทคโนโลยีจากต่างประเทศ