Iroh Lança Mesh LLM: Nova Tecnologia Une Vários Computadores para Rodar Modelos Gigantes de IA de Forma Descentralizada
O projeto Mesh LLM da equipe iroh apresenta um novo conceito para rodar Large Language Models, distribuindo o processamento por uma rede de computadores e permitindo que várias máquinas menores rodem modelos grandes demais para serem processados por uma única máquina.
A equipe iroh lançou um novo projeto chamado Mesh LLM, uma nova abordagem para processar Large Language Models (LLMs) que utiliza uma rede de computadores descentralizada, em vez de um único servidor grande. Quando um usuário envia um comando, o sistema pode operar de três maneiras: processar na própria máquina do usuário, encaminhar para outro par (peer) na rede que já possua o modelo pronto para uso, ou utilizar um modo especial para modelos gigantes.
O principal destaque desta arquitetura é o modo chamado "Skippy", projetado especificamente para gerenciar modelos muito grandes. O conceito de Skippy é dividir o modelo em partes, por camadas (layers), e distribuir cada parte para ser processada em diferentes máquinas. Por exemplo, a primeira máquina processa as camadas 0-15, e a segunda assume as camadas 16-31, enviando então os resultados (ativações) em um fluxo contínuo (pipeline). Este método permite que um grupo de computadores com recursos limitados combine seu poder para rodar modelos que nenhuma máquina individual conseguiria executar sozinha.
A tecnologia de rede própria da iroh é utilizada nos bastidores, onde cada máquina (nó) na rede se conecta diretamente de forma peer-to-peer, sem um servidor central. O sistema da iroh gerencia complexidades como hole-punching e NAT traversal (técnicas de conexão entre redes privadas) para criar conexões estáveis usando o protocolo QUIC. Para desenvolvedores, o Mesh LLM também oferece uma API compatível com OpenAI (OpenAI-compatible API), facilitando sua implementação. Atualmente, mais de 40 modelos são suportados, desde pequenos, com menos de um bilhão de parâmetros que podem ser executados em laptops, até modelos Mixture-of-Experts gigantes, com até 235 bilhões de parâmetros.
Mesh LLM pode ser um passo importante para tornar o acesso e uso de modelos de IA grandes mais fácil, sem a necessidade de depender de servidores caros em data centers. Isso abre oportunidades para indivíduos e pequenas organizações rodarem IAs poderosas com os recursos disponíveis.