ทันเอไอ

Немецкая исследовательская группа представила Soofi S — открытую языковую модель на 30B параметров, обошедшую конкурентов в тестах для английского и немецкого языков

Консорциум немецких исследовательских институтов и компаний выпустил Soofi S, двуязычную открытую ИИ-модель, которая благодаря новым методам оптимизации показала лучшие результаты в мировых бенчмарках.

Немецкий консорциум по развитию ИИ под эгидой Ассоциации ИИ Германии (KI Bundesverband) представил новую открытую языковую модель (LLM) под названием «Soofi S 30B-A3B». Модель продемонстрировала рекордные показатели в бенчмарках среди открытых моделей как для английского, так и для немецкого языков, превзойдя такие известные решения, как OLMo 3 32B и Apertus 70B.

Особенность Soofi S заключается в архитектуре, сочетающей Mamba и Transformer с использованием технологии Mixture-of-Experts (MoE). Несмотря на то, что общее количество параметров составляет 31,6 млрд, благодаря MoE при обработке каждого токена активируется лишь около 3,2 млрд параметров, что обеспечивает высокую скорость работы при сохранении производительности крупной модели.

Проект был реализован при участии Fraunhofer Institutes, DFKI, Дармштадтского технического университета и компании Ellamind при поддержке Министерства экономики и защиты климата Германии в рамках европейской программы IPCEI-CIS. Обучение модели проходило с марта по май на 512 GPU Nvidia B200 в дата-центре Deutsche Telekom в Мюнхене, на что было затрачено более 253 000 GPU-часов.

В задачах по написанию кода Soofi S показала впечатляющие результаты: 73,8% в бенчмарке HumanEval и 70,2% в MBPP, что является высоким показателем для модели общего назначения. Этот запуск подчеркивает потенциал Европы в создании собственных фундаментальных технологий ИИ и стремление снизить зависимость от иностранных разработок.