Liquid AI представляет LFM2.5-DSpark с ускорением моделей до 3,2 раза
Liquid AI выпустила линейку моделей-черновиков LFM2.5-DSpark, повышающих скорость инференса до 3,2 раза без потери качества
Liquid AI объявила о запуске LFM2.5-DSpark — набора моделей-«черновиков» (Drafter) для использования с техникой Speculative Decoding (упреждающего декодирования). Решение предназначено для ускорения обработки и инференса моделей искусственного интеллекта семейства LFM2.5 с сохранением исходного качества результатов.
Согласно представленным данным, LFM2.5-DSpark способна увеличивать скорость инференса примерно до 3,2 раза (точное значение — 3,18x). Модель поддерживает работу как на высокопроизводительных GPU для дата-центров (например, H100), так и на потребительских устройствах, таких как компьютеры MacBook.
В рамках релиза разработчики представили сразу три версии модели под разные базовые конфигурации линейки: LFM2.5-1.2B-Instruct, LFM2.5-2.6B и LFM2.5-8B-A1B. Кроме того, инструмент оптимизирован для совместимости с популярными фреймворками для запуска больших языковых моделей, такими как SGLang и llama.cpp.
Позволяет разработчикам и пользователям значительно ускорить работу моделей семейства LFM2.5 как на мощном железе, так и на обычных устройствах, снижая время и затраты на обработку ИИ.