ทันเอไอ

Iroh 推出 Mesh LLM：新技术整合多机算力，去中心化运行巨型AI模型

iroh 团队的 Mesh LLM 项目提出了一种新颖思路，通过将大型语言模型（LLM）的计算任务分布到计算机网络中，使多台小型机器能够协同运行单台机器无法独立承载的巨型模型。

iroh 团队发布了名为 Mesh LLM 的新项目，它提供了一种处理大型语言模型 (LLM) 的新方法。其核心在于利用去中心化计算机网络，而非依赖单一大型服务器。当用户提交指令时，系统可选择三种运行模式：在用户本地机器上处理；转发给网络中已准备好模型的其他对等节点 (peer)；或启用巨型模型专用模式。

该架构的关键亮点是名为“Skippy”的模式，专为处理超大型模型而设计。Skippy 的核心思想是将模型按层 (layer) 拆分，并将各部分分发到不同的机器上进行处理。例如，第一台机器处理 0-15 层，第二台机器接续处理 16-31 层，然后将结果 (activation) 像流水线 (pipeline) 一样依次传递。这种方法使得资源有限的计算机群能够协同运行任何单台机器都无法独立运行的模型。

其底层运作采用 iroh 自有的网络技术，网络中的每个节点 (node) 都直接进行点对点 (peer-to-peer) 连接，不依赖中央服务器。iroh 系统负责处理诸如打洞 (hole-punching) 和 NAT 穿透 (NAT traversal，一种跨私有网络连接技术) 等复杂性问题，以通过 QUIC 协议建立稳定的连接。对于开发者而言，Mesh LLM 还提供了与 OpenAI 兼容的 API (OpenAI-compatible API)，极大地简化了集成和使用。目前已支持超过 40 种模型，小至可在笔记本电脑上运行的十亿以下参数模型，大到参数量高达 2350 亿的 Mixture-of-Experts 模型。