ทันเอไอ

Grup riset Jerman luncurkan 'Soofi S', model bahasa open-source 30B dengan performa puncak, melampaui model besar dalam bahasa Inggris dan Jerman

Konsorsium lembaga riset dan perusahaan Jerman meluncurkan Soofi S, model AI open-source dwibahasa yang menggunakan teknik baru untuk mencapai efisiensi tinggi dan menempati peringkat teratas dalam skor benchmark dunia.

Konsorsium AI Jerman, yang dikoordinasikan oleh Asosiasi AI Jerman (KI Bundesverband), meluncurkan model bahasa besar (LLM) open-source terbaru bernama "Soofi S 30B-A3B". Model ini mencuri perhatian dengan mencatatkan skor benchmark tertinggi di antara model open-source lainnya, baik dalam bahasa Inggris maupun Jerman, melampaui model terkemuka seperti OLMo 3 32B dan Apertus 70B.

Keunggulan Soofi S terletak pada arsitektur hibrida antara Mamba dan Transformer yang menggunakan teknik Mixture-of-Experts (MoE). Meskipun model ini memiliki total 31,6 miliar parameter, teknik MoE memungkinkan pemrosesan setiap token hanya menggunakan sekitar 3,2 miliar parameter. Hal ini menghasilkan kecepatan dan efisiensi tinggi tanpa mengurangi kemampuan model skala besar.

Proyek ini merupakan kolaborasi dari berbagai lembaga terkemuka seperti Fraunhofer Institutes, DFKI, Universitas Darmstadt, dan perusahaan AI Ellamind, dengan dukungan pendanaan sekitar 20 juta euro dari Kementerian Ekonomi dan Perlindungan Iklim Federal Jerman di bawah program IPCEI-CIS Eropa. Pelatihan model dilakukan antara Maret hingga Mei menggunakan hingga 512 unit Nvidia B200 GPU di pusat data Deutsche Telekom di Munich, dengan total waktu komputasi mencapai lebih dari 253.000 GPU-hours.

Dalam kemampuan pemrograman, Soofi S mencatatkan skor impresif sebesar 73,8% pada HumanEval dan 70,2% pada MBPP, angka yang sangat kuat untuk model bahasa umum yang tidak dikhususkan untuk koding. Peluncuran ini merupakan langkah penting yang menunjukkan potensi Eropa dalam mengembangkan teknologi AI dasar untuk mengurangi ketergantungan pada teknologi luar negeri.