ทันเอไอ

Deutsches Forschungsteam präsentiert 'Soofi S': 30B Open-Source-Sprachmodell übertrifft globale Konkurrenz bei Englisch und Deutsch

Ein Konsortium aus deutschen Forschungseinrichtungen und Unternehmen hat mit Soofi S ein zweisprachiges Open-Source-KI-Modell vorgestellt, das dank innovativer Techniken in Benchmarks weltweit Spitzenwerte erreicht.

Ein deutsches KI-Konsortium, koordiniert vom KI Bundesverband, hat das neue Large Language Model (LLM) „Soofi S 30B-A3B“ veröffentlicht. Das Modell sorgt für Aufsehen, da es in Benchmarks für voll offene Modelle sowohl im Englischen als auch im Deutschen führende Modelle wie OLMo 3 32B und Apertus 70B übertrifft.

Das Herzstück von Soofi S ist eine Hybrid-Architektur aus Mamba und Transformer, die auf der „Mixture-of-Experts“ (MoE)-Technik basiert. Obwohl das Modell insgesamt 31,6 Milliarden Parameter umfasst, werden pro Token nur etwa 3,2 Milliarden aktiviert. Dies ermöglicht eine hohe Geschwindigkeit und Effizienz bei gleichzeitiger Leistungsstärke großer Modelle.

Hinter dem Projekt steht eine Zusammenarbeit führender Institutionen wie Fraunhofer, DFKI, der TU Darmstadt und dem KI-Unternehmen Ellamind. Gefördert wurde das Projekt mit rund 20 Millionen Euro durch das Bundesministerium für Wirtschaft und Klimaschutz im Rahmen des europäischen IPCEI-CIS-Projekts. Das Training fand von März bis Mai auf bis zu 512 Nvidia B200 GPUs im Rechenzentrum der Deutschen Telekom in München statt, wobei über 253.000 GPU-Stunden verbraucht wurden.

Im Bereich Coding erreichte Soofi S beeindruckende Werte von 73,8 % bei HumanEval und 70,2 % bei MBPP – beachtliche Ergebnisse für ein allgemeines Sprachmodell. Die Veröffentlichung ist ein Meilenstein, der zeigt, dass Europa das Potenzial hat, eigene KI-Basistechnologien zu entwickeln und die Abhängigkeit von ausländischen Anbietern zu verringern.