ngrok lanza AI Gateway, una pasarela única para conectar modelos de IA de todos los proveedores, con cambio automático de modelo ante fallos
ngrok presenta AI Gateway, un servicio de pasarela central que permite a los desarrolladores conectarse a modelos de IA de múltiples proveedores a través de una sola URL, con cambio automático de modelo y soporte para modelos locales
ngrok, el proveedor de servicios de red para desarrolladores, ha lanzado un nuevo producto llamado AI Gateway a través de la plataforma Product Hunt, presentándolo como "una única puerta de enlace privada para todos los modelos de IA", que permite a los desarrolladores gestionar el tráfico hacia modelos de inteligencia artificial y múltiples proveedores a través de un solo punto de conexión (Single Endpoint).
Las funciones principales del servicio incluyen: un sistema de cambio automático de modelo (Failover/Fallbacks), que cuando el modelo principal falla o deja de estar disponible cambia de inmediato a un modelo de respaldo; gestión de claves API bajo el modelo Bring Your Own Key (BYOK), que permite a los usuarios utilizar sus propias claves; control de acceso (Access Control); y un sistema de observabilidad (Observability) para monitorear el comportamiento de las llamadas a los modelos.
Otro punto interesante es que AI Gateway admite la conexión con modelos que se ejecutan localmente (Local LLMs) o modelos autoalojados (Self-hosted models) a través de la red privada de ngrok, sin necesidad de abrir puertos públicos, lo que reduce los riesgos de seguridad para las organizaciones que desean mantener sus modelos dentro de su propia infraestructura.
Según el blog y la documentación oficial de ngrok, los desarrolladores pueden usar el servicio a través de la URL `gateway.ngrok.ai` junto con los SDK existentes de OpenAI o Anthropic, casi sin modificar el código. Actualmente el servicio se encuentra en fase de acceso anticipado (early access), lo que significa que las funciones y las políticas de uso podrían cambiar antes del lanzamiento completo.
Hasta ahora, uno de los grandes problemas de los equipos de desarrollo que utilizan modelos de IA de varios proveedores era tener que gestionar claves, formatos de API y sistemas de respaldo por separado para cada proveedor. Contar con una pasarela central ayuda a reducir considerablemente esa carga. El mercado de las AI Gateway está atrayendo cada vez más atención, con múltiples actores compitiendo, desde empresas de infraestructura hasta startups especializadas.
Para desarrolladores y empresas que utilizan modelos de IA de varios proveedores al mismo tiempo, este tipo de pasarela reduce la complejidad de gestionar claves y aumenta la estabilidad cuando un modelo falla, especialmente para organizaciones que desean ejecutar modelos en local sin exponer sus sistemas al exterior.