Iroh lanza Mesh LLM: Nueva tecnología que combina el poder de varias computadoras para ejecutar modelos de IA gigantes de forma descentralizada
El proyecto Mesh LLM del equipo iroh introduce un nuevo concepto para ejecutar modelos de lenguaje grandes (LLM), distribuyendo el procesamiento a través de una red de computadoras, lo que permite que múltiples máquinas pequeñas colaboren para ejecutar modelos demasiado grandes para una sola.
El equipo iroh ha lanzado un nuevo proyecto llamado Mesh LLM, un enfoque innovador para procesar modelos de lenguaje grandes (LLM) utilizando una red de computadoras descentralizada en lugar de un único servidor grande. Cuando un usuario envía un comando, el sistema puede operar de tres maneras: procesarlo en la propia máquina del usuario, reenviarlo a otro par (peer) en la red con el modelo ya disponible, o usar un modo especial para modelos gigantes. Un aspecto destacado de esta arquitectura es el modo llamado "Skippy", diseñado específicamente para manejar modelos extremadamente grandes. El concepto de Skippy consiste en dividir el modelo en capas y distribuir cada parte para su procesamiento en diferentes máquinas. Por ejemplo, la primera máquina procesa las capas 0-15, y la segunda continúa con las capas 16-31, luego los resultados (activations) se pasan de forma encadenada (pipeline). Este método permite que un grupo de computadoras con recursos limitados unan fuerzas para ejecutar modelos que ninguna máquina podría ejecutar por sí sola. El sistema utiliza la propia tecnología de red de iroh, donde cada máquina (nodo) en la red se conecta directamente de forma peer-to-peer sin un servidor central. El sistema de iroh gestiona complejidades como el hole-punching y NAT traversal (técnicas para conectar a través de redes privadas) para establecer conexiones estables utilizando el protocolo QUIC. Para los desarrolladores, Mesh LLM ofrece una API compatible con OpenAI, lo que facilita su implementación. Actualmente, soporta más de 40 modelos, desde pequeños de menos de mil millones de parámetros que se pueden ejecutar en un portátil, hasta grandes modelos Mixture-of-Experts de hasta 235 mil millones de parámetros.
Mesh LLM podría ser un paso clave para facilitar el acceso y uso de modelos de IA grandes, eliminando la dependencia de servidores costosos en centros de datos. Esto permite que individuos u organizaciones pequeñas ejecuten IA potentes con sus recursos disponibles.