ทันเอไอ

ngrok представляет AI Gateway — единый шлюз для подключения к AI-моделям любых вендоров с автоматическим переключением при сбоях

ngrok запустил AI Gateway — централизованный шлюз, позволяющий разработчикам подключаться к AI-моделям разных вендоров через один URL, с функцией автоматического переключения моделей и поддержкой локальных моделей

ngrok, провайдер сетевых решений для разработчиков, представил новый продукт AI Gateway на платформе Product Hunt, позиционировав его как «единый персональный шлюз для всех AI-моделей», который позволяет разработчикам управлять трафиком к моделям искусственного интеллекта от разных провайдеров через одну точку подключения (Single Endpoint)

Ключевые функции сервиса включают: систему автоматического переключения моделей (Failover/Fallbacks) — если основная модель выходит из строя или недоступна, система мгновенно переключается на резервную; управление API-ключами по принципу Bring Your Own Key (BYOK), позволяющее пользователям работать со своими ключами; систему контроля доступа (Access Control) и инструменты наблюдаемости (Observability) для отслеживания вызовов моделей

Ещё одна примечательная особенность — AI Gateway поддерживает подключение моделей, запущенных локально (Local LLMs), или самостоятельно размещённых моделей (Self-hosted models) через частную сеть ngrok без необходимости открывать публичные порты. Это снижает риски безопасности для организаций, которые хотят держать модели в собственной инфраструктуре

Согласно официальному блогу и документации ngrok, разработчики могут использовать сервис через URL `gateway.ngrok.ai` вместе с существующими SDK OpenAI или Anthropic практически без изменения кода. Сейчас сервис находится в стадии early access, что означает возможные изменения функций и условий использования до полноценного запуска

Ранее главной проблемой команд разработки, работающих с AI-моделями от нескольких вендоров, была необходимость раздельно управлять ключами, форматами API и системами резервирования для каждого провайдера. Централизованный шлюз существенно снижает эту нагрузку. Рынок AI-шлюзов привлекает всё больше внимания — в конкуренцию вступают как инфраструктурные компании, так и профильные стартапы