Iroh представила Mesh LLM: новая технология объединяет мощность нескольких компьютеров для децентрализованного запуска гигантских моделей ИИ
Проект Mesh LLM от команды iroh предлагает новую концепцию запуска больших языковых моделей, распределяя вычисления по компьютерной сети, что позволяет нескольким небольшим машинам совместно запускать модели, слишком крупные для одной машины.
Команда iroh запустила новый проект под названием Mesh LLM, который представляет собой новый подход к обработке больших языковых моделей (Large Language Models - LLMs) с использованием децентрализованной компьютерной сети вместо одного крупного сервера. Когда пользователь отправляет запрос, система может работать в трех режимах: обработка на машине пользователя, пересылка на другую машину в сети (peer) с уже готовой моделью, или использование специального режима для гигантских моделей.
Ключевой особенностью этой архитектуры является режим под названием "Skippy", разработанный специально для работы с очень крупными моделями. Концепция Skippy заключается в разделении модели на части по слоям (layer) и распределении каждой части для обработки на разных машинах. Например, первая машина обрабатывает слои 0-15, а вторая машина подхватывает слои 16-31, после чего результаты (активации) передаются по конвейеру (pipeline). Этот метод позволяет группам компьютеров с ограниченными ресурсами совместно запускать модели, которые ни одна машина не могла бы запустить в одиночку.
В основе работы лежит собственная сетевая технология iroh, где каждая машина в сети (узел) напрямую подключается в режиме peer-to-peer без центрального сервера. Система iroh справляется со сложностями, такими как hole-punching и NAT traversal (техники для подключения через частные сети), для создания стабильного соединения с использованием протокола QUIC. Для разработчиков Mesh LLM также предлагает API, совместимый с OpenAI (OpenAI-compatible API), что упрощает его использование. В настоящее время поддерживается более 40 моделей, от небольших, менее миллиарда параметров, которые могут работать на ноутбуках, до крупных моделей Mixture-of-Experts с 235 миллиардами параметров.
Mesh LLM может стать важным шагом, который упростит доступ и использование больших моделей ИИ и устранит необходимость в дорогих серверах в дата-центрах. Это откроет возможности для частных лиц или малых организаций запускать мощный ИИ, используя свои существующие ресурсы.