ทันเอไอ

ngrok 推出 AI Gateway：单一网关接入各大厂商 AI 模型，宕机时自动切换模型

ngrok 推出 AI Gateway 中转网关服务，让开发者通过单一 URL 连接多家厂商的 AI 模型，并具备自动切换模型功能，同时支持本地模型

面向开发者的网络服务商 ngrok 通过 Product Hunt 平台发布新产品 AI Gateway，定位为"面向所有 AI 模型的单一私有网关"，帮助开发者通过单一接入点（Single Endpoint）管理通往多个人工智能模型及服务商的流量。

该服务的核心功能包括：自动模型切换系统（Failover/Fallbacks），当主模型出现问题或不可用时，系统会立即切换到备用模型；支持自带密钥（Bring Your Own Key，BYOK）的 API 密钥管理，允许用户使用自己的密钥；访问控制（Access Control）系统；以及用于追踪模型调用行为的可观测性（Observability）系统。

另一个值得关注的亮点是，AI Gateway 支持连接在本地运行的模型（Local LLMs）或自托管模型（Self-hosted models），通过 ngrok 的私有网络实现，无需开放公共端口，从而降低希望在自有基础设施中保留模型的企业的安全风险。

根据 ngrok 的官方博客和文档，开发者可以通过 URL `gateway.ngrok.ai` 配合 OpenAI 或 Anthropic 原有的 SDK 使用，几乎无需修改代码。目前该服务处于 early access 阶段，这意味着功能和 usage 政策在正式发布前可能会有所调整。

此前，使用多家厂商 AI 模型的开发团队面临的一大难题是：需要分别为每家厂商管理密钥、API 格式和备份系统。统一网关的出现大大减轻了这一负担。AI Gateway 市场正备受关注，已有多方玩家入局竞争，既有基础设施类公司，也有专注于该领域的初创企业。