ทันเอไอ

Phinq vorgestellt: KI-Agenten-Sicherheitskontrolle stoppt Fehler vor der Ausführung

Phinq ist eine neue Open-Source-Software, die als Vermittler und Filter für Befehle von KI-Agenten dient, um potenzielle Schäden zu verhindern.

In einer Zeit, in der KI-Agenten (AI Agents) eine immer größere Rolle bei der Automatisierung übernehmen, steigt auch das Risiko, dass die KI versehentlich schwerwiegende Fehler macht – wie das Löschen wichtiger Daten oder unbeabsichtigte Systemänderungen. Kürzlich wurde zu diesem Zweck ein Open-Source-Projekt namens „Phinq“ entwickelt.

Phinq fungiert als Runtime Governance Layer, der sich als Proxy oder Middleware zwischenschaltet und alle Tool-Calls von KI-Agenten in Echtzeit abfängt. Das System klassifiziert Risiken, bevor die Befehle tatsächlich ausgeführt werden.

In der Praxis nutzt Phinq einen Human-in-the-Loop-Ansatz und unterteilt die Steuerung in zwei Hauptbereiche: Befehle mit geringem Risiko oder reversibel Aktionen werden automatisch zugelassen. Hochrisiko- und irreversible Befehle – wie das Löschen einer Datenbank – werden hingegen so lange pausiert, bis sie von einem Menschen genehmigt wurden.

Darüber hinaus verfügt das System über ein manipulationssicheres Audit-Log (Tamper-evident Audit Log), das alle Entscheidungsschritte und Aktionen mittels Hash-Chaining-Technologie aufzeichnet, um Manipulationen zu verhindern und eine lückenlose Nachverfolgung zu gewährleisten. Was die Kompatibilität betrifft, unterstützt Phinq die Integration mit einer Vielzahl führender KI-Frameworks und -Tools wie OpenAI, Anthropic, LangChain, CrewAI, AutoGen und Claude Code.