ทันเอไอ

ngrok stellt AI Gateway vor: Ein einziges Gateway für alle KI-Modelle – mit automatischem Modellwechsel bei Ausfällen

ngrok launcht den AI Gateway, einen zentralen Gateway-Dienst, über den Entwickler KI-Modelle verschiedener Anbieter über eine einzige URL anbinden können – inklusive automatischem Modellwechsel und Unterstützung für lokale Modelle

ngrok, Anbieter von Netzwerklösungen für Entwickler, hat über die Plattform Product Hunt ein neues Produkt vorgestellt: den AI Gateway. Das Unternehmen beschreibt ihn als „das eine private Gateway für alle KI-Modelle“, mit dem Entwickler den Datenverkehr zu KI-Modellen und Anbietern verschiedener Hersteller über einen einzigen Endpunkt (Single Endpoint) steuern können.

Zu den zentralen Funktionen gehören ein automatisches Failover/Fallback-System: Fällt das primäre Modell aus oder ist nicht verfügbar, wechselt das System sofort auf ein Ersatzmodell. Hinzu kommen die Verwaltung eigener API-Schlüssel (Bring Your Own Key, BYOK), Zugriffskontrollen (Access Control) sowie Observability-Funktionen zur Überwachung des Modellnutzungsverhaltens.

Besonders interessant: Der AI Gateway unterstützt auch die Anbindung lokal laufender Modelle (Local LLMs) oder selbst gehosteter Modelle über das private Netzwerk von ngrok – ganz ohne öffentlich zugängliche Ports. Das reduziert Sicherheitsrisiken für Unternehmen, die ihre Modelle in der eigenen Infrastruktur behalten möchten.

Laut Blog und offizieller Dokumentation von ngrok können Entwickler den Dienst über die URL `gateway.ngrok.ai` nutzen – kompatibel mit den bestehenden SDKs von OpenAI oder Anthropic, praktisch ohne Code-Anpassungen. Derzeit befindet sich der Dienst im Early Access, was bedeutet, dass sich Funktionen und Nutzungsbedingungen vor dem vollständigen Launch noch ändern können.

Bisher mussten Entwicklerteams, die KI-Modelle mehrerer Anbieter nutzen, Schlüssel, API-Formate und Fallback-Systeme für jeden Anbieter separat verwalten. Ein zentrales Gateway reduziert diesen Aufwand erheblich. Der Markt für AI Gateways wird derzeit genau beobachtet – zahlreiche Anbieter drängen in den Wettbewerb, von Infrastruktur-Unternehmen bis hin zu spezialisierten Startups.