ทันเอไอ

IrohがMesh LLMを発表：複数のPCを連携させ、巨大AIモデルを分散型で実行する新技術

irohチームによるMesh LLMプロジェクトは、大規模言語モデルの実行に新たなコンセプトを提示。コンピューターネットワーク全体に処理を分散させることで、複数の小規模なマシンが協力し、1台では処理しきれない巨大モデルの実行を可能にする。

irohチームは、単一の大型サーバーに依存せず、分散型ネットワークを活用して大規模言語モデル（LLM）を処理する新しいアプローチ、「Mesh LLM」プロジェクトを発表した。ユーザーがコマンドを送信すると、システムは、ユーザー自身のマシンでの処理、ネットワーク内の既存モデルを持つ他のピアへの転送、または巨大モデル向けの特別モードという3つの実行形式から選択可能だ。

このアーキテクチャの重要な特徴は、非常に大規模なモデル専用に設計された「Skippy」モードである。Skippyのコンセプトは、モデルをレイヤーごとに分割し、各部分を異なるマシンに分散して処理することにある。例えば、1台目のマシンがレイヤー0-15を処理し、2台目のマシンがレイヤー16-31を引き継ぎ、その結果（アクティベーション）をパイプラインとして順次流す。この手法により、リソースが限られたコンピューター群が連携し、単独では実行不可能なモデルを動作させることが可能になる。

基盤となるのはiroh独自のネットワーク技術で、ネットワーク内の各マシン（ノード）は中央サーバーなしで直接P2P接続する。irohのシステムは、ホールパンチングやNATトラバーサル（プライベートネットワーク間の接続技術）といった複雑な処理を管理し、QUICプロトコルで安定した接続を確立する。開発者向けにMesh LLMはOpenAI互換APIを提供しており、実装を容易にしている。現在、ラップトップで実行可能な10億未満のパラメーターを持つ小規模モデルから、2350億パラメーターに及ぶ大規模なMixture-of-Expertsモデルまで、40以上のモデルをサポートする。