Iroh stellt Mesh LLM vor: Neue Technologie vereint die Leistung mehrerer Computer, um riesige KI-Modelle dezentral auszuführen
Das Mesh LLM-Projekt des iroh-Teams präsentiert ein neues Konzept für den Betrieb großer Sprachmodelle (LLMs), indem die Verarbeitung über ein Computernetzwerk verteilt wird. Dies ermöglicht es mehreren kleineren Computern, Modelle auszuführen, die zu groß für eine einzelne Maschine wären.
Das iroh-Team hat das neue Projekt Mesh LLM vorgestellt, einen neuen Ansatz zur Verarbeitung von Large Language Models (LLMs) unter Verwendung eines dezentralen Netzwerks von Computern anstelle eines einzelnen, großen Servers. Wenn ein Benutzer eine Anfrage sendet, kann das System aus drei Betriebsarten wählen: die Verarbeitung auf dem eigenen Gerät des Benutzers, die Weiterleitung an einen anderen Peer im Netzwerk, der das Modell bereits bereitstellt, oder die Verwendung eines speziellen Modus für riesige Modelle.
Ein wesentliches Highlight dieser Architektur ist der Modus namens "Skippy", der speziell für die Handhabung sehr großer Modelle entwickelt wurde. Das Konzept von Skippy besteht darin, ein Modell schichtweise (layer) aufzuteilen und jede Schicht auf verschiedene Maschinen zu verteilen. Zum Beispiel verarbeitet der erste Computer die Layer 0-15, und der zweite Computer übernimmt die Layer 16-31. Die Ergebnisse (Aktivierungen) werden dann in einer Pipeline weitergeleitet. Auf diese Weise können Computer mit begrenzten Ressourcen zusammenarbeiten, um Modelle auszuführen, die keine einzelne Maschine allein bewältigen könnte.
Die zugrundeliegende Funktionalität nutzt die iroh-eigene Netzwerktechnologie. Jeder Knoten im Netzwerk verbindet sich direkt Peer-to-Peer, ohne zentrale Server. Das iroh-System verwaltet Komplexitäten wie Hole-Punching und NAT-Traversal (Techniken für Verbindungen über private Netzwerke), um stabile Verbindungen über das QUIC-Protokoll herzustellen. Für Entwickler bietet Mesh LLM eine OpenAI-kompatible API, die die Integration vereinfacht. Derzeit werden über 40 Modelle unterstützt, von kleinen Modellen mit weniger als einer Milliarde Parametern, die auf Laptops laufen können, bis hin zu großen Mixture-of-Experts-Modellen mit bis zu 235 Milliarden Parametern.
Mesh LLM könnte ein wichtiger Schritt sein, um den Zugang und die Nutzung großer KI-Modelle zu vereinfachen und die Abhängigkeit von teuren Servern in Rechenzentren zu beenden. Es eröffnet Privatpersonen oder kleinen Organisationen die Möglichkeit, leistungsstarke KI mit ihren vorhandenen Ressourcen zu betreiben.