ทันเอไอ

ngrok, AI Gateway 공개 — 단일 게이트웨이로 모든 AI 모델 연결, 장애 시 자동 전환 지원

ngrok이 개발자들이 하나의 URL로 여러 AI 모델에 연결할 수 있는 중앙 게이트웨이 서비스 AI Gateway를 공개. 자동 모델 전환 기능과 로컬 모델 지원 제공

개발자용 네트워크 서비스 제공업체 ngrok이 Product Hunt를 통해 신제품 AI Gateway를 공개했다. "모든 AI 모델을 위한 단일 개인 게이트웨이"를 표방하며, 개발자들이 여러 AI 모델과 제공사로 향하는 트래픽을 단일 엔드포인트(Single Endpoint)를 통해 관리할 수 있게 해준다.

이 서비스의 주요 기능으로는 자동 모델 전환(Failover/Fallbacks)이 있다. 기본 모델에 문제가 생기거나 서비스 불가 상태가 되면 시스템이 즉시 백업 모델로 전환한다. 또한 사용자가 자신의 키를 가져와 사용할 수 있는 Bring Your Own Key(BYOK) 방식의 API 키 관리, 접근 제어(Access Control), 그리고 모델 호출 동작을 추적하는 관측 가능성(Observability) 시스템을 제공한다.

또 다른 주목할 점은 AI Gateway가 로컬에서 실행되는 모델(Local LLMs)이나 자체 호스팅 모델(Self-hosted models)을 ngrok의 사설 네트워크를 통해 연결할 수 있다는 것이다. 공용 포트를 열 필요가 없어, 모델을 자체 인프라 내에 유지하려는 기업의 보안 리스크를 줄여준다.

ngrok의 공식 블로그와 문서에 따르면, 개발자들은 `gateway.ngrok.ai` URL을 기존 OpenAI 또는 Anthropic SDK와 함께 사용할 수 있으며 코드를 거의 수정할 필요가 없다. 현재 서비스는 얼리 액세스 단계로, 정식 출시 전에 기능과 이용 정책이 변경될 수 있다.

그동안 여러 AI 모델을 사용하는 개발팀의 큰 과제는 키, API 형식, 백업 시스템을 제공사별로 따로 관리해야 한다는 점이었다. 중앙 게이트웨이는 이러한 부담을 크게 덜어준다. AI Gateway 시장은 현재 주목받고 있으며, 인프라 기업부터 전문 스타트업까지 다양한 플레이어가 경쟁에 뛰어들고 있다.