ทันเอไอ

ngrok lance AI Gateway : une passerelle unique pour connecter tous les modèles d'IA, avec bascule automatique en cas de panne

ngrok dévoile AI Gateway, une passerelle centralisée qui permet aux développeurs de se connecter à des modèles d'IA de plusieurs fournisseurs via une seule URL, avec bascule automatique entre modèles et prise en charge des modèles locaux

ngrok, fournisseur de solutions réseau pour développeurs, a lancé un nouveau produit, AI Gateway, via la plateforme Product Hunt. Il le présente comme « une passerelle privée unique pour tous vos modèles d'IA », permettant aux développeurs de gérer le trafic vers des modèles d'intelligence artificielle de plusieurs fournisseurs via un point de terminaison unique (Single Endpoint).

Les principales fonctionnalités du service comprennent : un système de bascule automatique (Failover/Fallbacks) qui, en cas de problème ou d'indisponibilité du modèle principal, bascule immédiatement vers un modèle de secours ; la gestion des clés API en mode Bring Your Own Key (BYOK), qui permet aux utilisateurs d'utiliser leurs propres clés ; un système de contrôle d'accès (Access Control) ; et des outils d'observabilité (Observability) pour suivre le comportement des appels aux modèles.

Autre point intéressant : AI Gateway prend en charge la connexion à des modèles exécutés en local (Local LLMs) ou auto-hébergés (Self-hosted models) via le réseau privé de ngrok, sans avoir besoin d'ouvrir de ports publics. Cela réduit les risques de sécurité pour les organisations qui souhaitent conserver leurs modèles au sein de leur propre infrastructure.

Selon le blog et la documentation officielle de ngrok, les développeurs peuvent utiliser le service via l'URL `gateway.ngrok.ai` avec les SDK existants d'OpenAI ou d'Anthropic, pratiquement sans modifier leur code. Le service est actuellement en early access, ce qui signifie que les fonctionnalités et les conditions d'utilisation peuvent évoluer avant le lancement officiel.

Jusqu'à présent, l'une des principales difficultés pour les équipes de développement utilisant des modèles d'IA de plusieurs fournisseurs était de devoir gérer séparément les clés, les formats d'API et les systèmes de secours pour chaque fournisseur. Une passerelle centralisée permet donc de réduire considérablement cette charge. Le marché des passerelles IA attire d'ailleurs de plus en plus l'attention, avec de nombreux acteurs en compétition, qu'il s'agisse d'entreprises d'infrastructure ou de startups spécialisées.