ทันเอไอ

Des chercheurs allemands lancent 'Soofi S', un modèle de langage open-source de 30B qui surpasse les géants en anglais et en allemand

Un consortium d'instituts et d'entreprises allemands dévoile Soofi S, un modèle d'IA bilingue open-source utilisant des techniques innovantes pour atteindre des performances de pointe aux benchmarks mondiaux.

Un consortium d'IA en Allemagne, coordonné par l'association KI Bundesverband, a lancé un nouveau modèle de langage (LLM) open-source baptisé "Soofi S 30B-A3B". Ce modèle a fait sensation en obtenant les meilleurs scores aux tests de référence parmi les modèles entièrement ouverts, surpassant des concurrents comme OLMo 3 32B et Apertus 70B en anglais et en allemand.

Le point fort de Soofi S réside dans son architecture hybride combinant Mamba et Transformer, utilisant la technique du "Mixture-of-Experts" (MoE). Bien que le modèle compte 31,6 milliards de paramètres au total, la technique MoE permet de n'activer qu'environ 3,2 milliards de paramètres par jeton, offrant ainsi une vitesse et une efficacité élevées tout en conservant les capacités d'un modèle large.

Ce projet est le fruit d'une collaboration entre des institutions de renom telles que les instituts Fraunhofer, le DFKI, l'Université de technologie de Darmstadt et l'entreprise d'IA Ellamind. Il a bénéficié d'un financement d'environ 20 millions d'euros du ministère fédéral allemand de l'Économie et de l'Énergie, dans le cadre du projet européen IPCEI-CIS. L'entraînement, réalisé entre mars et mai, a mobilisé jusqu'à 512 GPU Nvidia B200 au centre de données de Deutsche Telekom à Munich, totalisant plus de 253 000 heures de calcul GPU.

En matière de programmation, Soofi S affiche des scores impressionnants de 73,8 % sur HumanEval et 70,2 % sur MBPP, des performances solides pour un modèle généraliste. Ce lancement marque une étape clé, démontrant la capacité de l'Europe à développer ses propres technologies d'IA fondamentales pour réduire sa dépendance technologique.