Investigadores alemanes presentan 'Soofi S', un modelo de lenguaje abierto de 30B que supera a los grandes modelos en inglés y alemán
Un consorcio de institutos de investigación y empresas alemanas lanza Soofi S, un modelo de IA abierto bilingüe que emplea técnicas innovadoras para alcanzar un rendimiento líder en benchmarks globales.
Un consorcio de IA en Alemania, coordinado por la Asociación Alemana de IA (KI Bundesverband), ha lanzado el nuevo modelo de lenguaje grande (LLM) de código abierto "Soofi S 30B-A3B". El modelo ha sorprendido al alcanzar las puntuaciones más altas en benchmarks dentro de su categoría, superando a referentes como OLMo 3 32B y Apertus 70B tanto en inglés como en alemán.
La clave de Soofi S reside en una arquitectura híbrida entre Mamba y Transformer, utilizando la técnica Mixture-of-Experts (MoE). Aunque cuenta con 31.6 mil millones de parámetros totales, la técnica MoE permite activar solo unos 3.2 mil millones por cada token procesado, optimizando la velocidad y la eficiencia sin perder la potencia de un modelo masivo.
El proyecto es fruto de la colaboración entre entidades como los Institutos Fraunhofer, el DFKI, la Universidad de Darmstadt y la empresa Ellamind, con una inversión de 20 millones de euros del Ministerio Federal de Economía y Acción Climática de Alemania bajo el programa europeo IPCEI-CIS. El entrenamiento se llevó a cabo entre marzo y mayo utilizando hasta 512 GPU Nvidia B200 en el centro de datos de Deutsche Telekom en Múnich, totalizando más de 253,000 horas de computación.
En cuanto a programación, Soofi S obtuvo resultados impresionantes en HumanEval (73.8%) y MBPP (70.2%), cifras sólidas para un modelo de propósito general. Este lanzamiento marca un hito en la capacidad europea para desarrollar tecnología de IA soberana y reducir la dependencia de proveedores extranjeros.
La aparición de Soofi S demuestra que los consorcios nacionales pueden crear modelos de IA de alta calidad a la par de los gigantes tecnológicos, ofreciendo una alternativa crucial en el ecosistema de código abierto para desarrolladores de todo el mundo.