Grupo de pesquisa alemão lança 'Soofi S', modelo de linguagem open-source de 30B que supera modelos maiores em inglês e alemão
Consórcio de institutos e empresas alemãs apresenta Soofi S, um modelo de IA bilíngue open-source que utiliza novas técnicas para atingir desempenho de ponta em benchmarks globais.
Um consórcio de IA na Alemanha, coordenado pela Associação Alemã de IA (KI Bundesverband), lançou o "Soofi S 30B-A3B", um novo modelo de linguagem de grande escala (LLM) open-source que se destaca ao alcançar pontuações máximas em benchmarks entre os modelos abertos, superando nomes como OLMo 3 32B e Apertus 70B tanto em inglês quanto em alemão.
O diferencial do Soofi S reside em sua arquitetura híbrida entre Mamba e Transformer, utilizando a técnica de Mixture-of-Experts (MoE). Embora o modelo tenha 31,6 bilhões de parâmetros no total, a técnica MoE permite que apenas cerca de 3,2 bilhões de parâmetros sejam ativados por token, garantindo alta velocidade e eficiência sem sacrificar a capacidade de um modelo de grande porte.
O projeto é fruto de uma colaboração entre instituições como Fraunhofer Institutes, DFKI, Universidade de Darmstadt e a empresa de IA Ellamind, com financiamento de cerca de 20 milhões de euros do Ministério Federal da Economia e Ação Climática da Alemanha, sob o projeto europeu IPCEI-CIS. O treinamento ocorreu entre março e maio, utilizando até 512 GPUs Nvidia B200 no data center da Deutsche Telekom em Munique, totalizando mais de 253.000 horas de processamento.
Em termos de codificação, o Soofi S obteve 73,8% no HumanEval e 70,2% no MBPP, números expressivos para um modelo de uso geral. Este lançamento marca um passo importante na capacidade da Europa de desenvolver sua própria tecnologia de base em IA, reduzindo a dependência externa.
O surgimento do Soofi S prova que consórcios nacionais podem desenvolver IAs de alta performance, competindo com gigantes da tecnologia e oferecendo uma alternativa robusta no ecossistema open-source para desenvolvedores em todo o mundo.