ทันเอไอ

ngrok、AI Gatewayを発表――あらゆるAIモデルに接続する単一ゲートウェイ、障害時の自動モデル切替にも対応

ngrokがAI Gatewayを発表。開発者が1つのURLから複数社のAIモデルに接続できる中央ゲートウェイサービスで、自動モデル切替機能やローカルモデル対応も備える

開発者向けネットワークサービスを提供するngrokが、Product Huntを通じて新製品「AI Gateway」を発表した。「すべてのAIモデルのための唯一のプライベートゲートウェイ」として提案されており、開発者は単一のエンドポイント（Single Endpoint）を通じて複数のAIモデルやプロバイダーへのトラフィックを管理できる。

主な機能には、障害時の自動モデル切替（Failover/Fallbacks）があり、主要モデルに問題が発生したり利用できなくなったりした場合、即座にバックアップモデルへ切り替わる。さらに、ユーザー自身のキーを持ち込めるAPIキー管理（Bring Your Own Key: BYOK）、アクセス制御（Access Control）、モデル呼び出しの挙動を追跡する可観測性（Observability）機能も搭載する。

もう一つの注目点は、ngrokのプライベートネットワーク経由でローカルで動作するモデル（Local LLMs）やセルフホストモデルへの接続に対応していることだ。パブリックポートを開放する必要がなく、モデルを自社インフラ内に保持したい組織にとってセキュリティリスクの低減につながる。

ngrokの公式ブログやドキュメントによると、開発者はURL `gateway.ngrok.ai` を既存のOpenAIやAnthropicのSDKと組み合わせて利用でき、コードの修正はほぼ不要だという。現在、同サービスはアーリーアクセス段階にあり、正式リリース前に機能や利用ポリシーが変更される可能性がある。

これまで、複数社のAIモデルを利用する開発チームにとっての大きな課題は、キー、API形式、フェイルオーバー機構をベンダーごとに個別に管理しなければならない点だった。中央ゲートウェイの存在はこの負担を大幅に軽減する。AI Gateway市場は注目度が高まっており、インフラ系企業や専門スタートアップなど、多くのプレイヤーが競争に参入している