ngrok lança AI Gateway: um único gateway que conecta modelos de IA de todos os provedores, com troca automática de modelo em caso de falha
ngrok apresenta o AI Gateway, um serviço de gateway centralizado que permite a desenvolvedores conectar modelos de IA de vários provedores por meio de uma única URL, com failover automático e suporte a modelos locais
A ngrok, provedora de serviços de rede para desenvolvedores, lançou seu novo produto, o AI Gateway, por meio da plataforma Product Hunt, apresentando-o como "um único gateway pessoal para todos os seus modelos de IA", que ajuda desenvolvedores a gerenciar o tráfego para modelos de inteligência artificial e diversos provedores por um único ponto de conexão (Single Endpoint).
Os principais recursos do serviço incluem: sistema de troca automática de modelos (Failover/Fallbacks) — quando o modelo principal apresenta problemas ou fica indisponível, o sistema muda imediatamente para um modelo reserva; gerenciamento de chaves de API no modelo Bring Your Own Key (BYOK), que permite aos usuários usar suas próprias chaves; controle de acesso (Access Control); e sistema de observabilidade (Observability) para monitorar o comportamento das chamadas aos modelos.
Outro ponto interessante é que o AI Gateway oferece suporte à conexão com modelos executados localmente (Local LLMs) ou hospedados pela própria empresa (Self-hosted models) por meio da rede privada da ngrok, sem necessidade de abrir portas públicas — o que reduz os riscos de segurança para organizações que desejam manter seus modelos em sua própria infraestrutura.
De acordo com o blog e a documentação oficial da ngrok, os desenvolvedores podem usar o serviço por meio da URL `gateway.ngrok.ai` em conjunto com os SDKs existentes da OpenAI ou da Anthropic, praticamente sem alterar o código. No momento, o serviço está em early access, o que significa que recursos e políticas de uso podem ser ajustados antes do lançamento oficial.
Até agora, um dos grandes problemas das equipes de desenvolvimento que usam modelos de IA de vários provedores era ter que gerenciar chaves, formatos de API e sistemas de backup separadamente para cada um. Um gateway centralizado ajuda a reduzir bastante essa carga. O mercado de AI Gateways vem atraindo atenção, com vários players entrando na disputa — tanto empresas de infraestrutura quanto startups especializadas.
Para desenvolvedores e empresas que usam modelos de IA de vários provedores simultaneamente, um gateway como esse reduz a complexidade no gerenciamento de chaves e aumenta a estabilidade quando um modelo fica fora do ar — especialmente para organizações que querem executar modelos localmente sem expor seus sistemas ao exterior.