ทันเอไอ

Iroh, Mesh LLM 공개: 여러 컴퓨터를 연결해 거대 AI 모델을 분산 실행하는 신기술

iroh 팀의 Mesh LLM 프로젝트는 대규모 언어 모델(LLM)을 분산형으로 실행하는 새로운 개념을 제시한다. 여러 컴퓨터에 연산 처리를 분산하여, 단일 기기가 감당하기 어려운 초대형 모델도 여러 소형 기기가 힘을 합쳐 실행할 수 있게 된다.

iroh 팀은 대규모 언어 모델(LLM)을 처리하는 새로운 방식인 Mesh LLM 프로젝트를 공개했다. 이 방식은 단일 대형 서버 대신 분산형 컴퓨터 네트워크를 활용한다. 사용자가 명령을 보내면 시스템은 세 가지 작동 방식 중 하나를 선택할 수 있다. 사용자 기기에서 직접 처리, 모델이 준비된 네트워크 내 다른 피어(peer)로 전달, 또는 초대형 모델을 위한 특별 모드 사용이다.

이 아키텍처의 핵심은 매우 큰 모델 처리를 위해 특별히 설계된 'Skippy' 모드다. Skippy는 모델을 레이어(layer)별로 분할하고 각 부분을 다른 기기에서 처리하도록 분산하는 개념이다. 예를 들어, 첫 번째 기기가 레이어 0-15를 처리하고 두 번째 기기가 레이어 16-31을 이어받아 처리한 뒤, 결과(활성화)를 파이프라인(pipeline) 방식으로 순차적으로 전달한다. 이 방식을 통해 제한된 자원을 가진 컴퓨터 그룹이 단일 기기로는 실행할 수 없는 모델을 함께 실행할 수 있게 된다.

이 시스템의 작동 방식은 iroh 자체의 네트워크 기술을 기반으로 한다. 네트워크 내 각 기기(노드)는 중앙 서버 없이 피어투피어(peer-to-peer) 방식으로 직접 연결된다. iroh 시스템은 홀펀칭(hole-punching) 및 NAT 순회(NAT traversal, 사설망 간 연결 기술)와 같은 복잡한 문제를 처리하여 QUIC 프로토콜을 이용한 안정적인 연결을 구축한다. 개발자를 위해 Mesh LLM은 OpenAI 호환 API를 제공하여 쉽게 적용할 수 있도록 한다. 현재 랩톱에서 실행 가능한 10억 미만 파라미터의 소형 모델부터 2,350억 파라미터에 달하는 대규모 Mixture-of-Experts 모델까지 40개 이상의 모델을 지원한다.