Iroh dévoile Mesh LLM : une nouvelle technologie combinant la puissance de plusieurs ordinateurs pour exécuter des modèles d'IA géants de manière décentralisée
Le projet Mesh LLM de l'équipe iroh introduit un nouveau concept pour exécuter des modèles de langage de grande taille (LLMs) en distribuant le traitement à travers un réseau d'ordinateurs, permettant à plusieurs machines modestes de collaborer pour exécuter des modèles trop grands pour une seule machine.
L'équipe iroh a dévoilé le projet Mesh LLM, une nouvelle approche pour le traitement des grands modèles de langage (LLMs) basée sur un réseau informatique décentralisé, se substituant aux serveurs puissants uniques. Lors de la soumission d'une commande, le système propose trois modes de fonctionnement : traitement local sur la machine de l'utilisateur, transfert vers un pair du réseau disposant du modèle, ou utilisation d'un mode spécial pour les modèles géants. Le mode "Skippy" est une innovation clé de cette architecture, spécifiquement conçu pour les modèles très volumineux. Son concept est de diviser le modèle en couches (segments) et de répartir leur traitement sur différentes machines. Par exemple, une machine gère les couches 0 à 15, tandis qu'une seconde prend le relais pour les couches 16 à 31, les activations étant ensuite transmises en pipeline. Cette méthode permet à des groupes d'ordinateurs aux ressources limitées de combiner leurs capacités pour exécuter des modèles qu'aucune machine ne pourrait gérer seule. En arrière-plan, Mesh LLM s'appuie sur la technologie réseau propre à iroh, où chaque nœud se connecte directement en pair-à-pair, sans serveur central. Le système iroh gère les complexités telles que le hole-punching et le NAT traversal pour établir des connexions QUIC stables. Pour les développeurs, Mesh LLM propose une API compatible avec OpenAI, simplifiant l'intégration. Actuellement, plus de 40 modèles sont pris en charge, allant des petits modèles de moins d'un milliard de paramètres exécutables sur un ordinateur portable aux grands modèles Mixture-of-Experts de 235 milliards de paramètres.
Mesh LLM pourrait marquer une étape importante en simplifiant l'accès et l'utilisation des grands modèles d'IA, éliminant ainsi la dépendance aux serveurs coûteux des centres de données. Cela ouvrirait la voie aux particuliers et aux petites organisations pour exécuter des IA puissantes avec leurs ressources existantes.