ทันเอไอ

Представлен Phinq — инструмент безопасности для AI Agents, предотвращающий ошибки до их совершения

Phinq — новое открытое ПО, выступающее посредником для фильтрации команд от AI Agents в целях предотвращения потенциального ущерба.

В эпоху, когда агенты на базе искусственного интеллекта (AI Agents) играют все большую роль в автоматизации, растет и риск того, что ИИ может случайно выполнить критическую ошибку — например, удалить важные данные или непреднамеренно изменить систему. Недавно для решения этой проблемы был создан проект с открытым исходным кодом под названием «Phinq».

Phinq выступает в роли слоя управления во время выполнения (Runtime Governance Layer), располагаясь в качестве прокси или промежуточного ПО (middleware) для перехвата всех вызовов инструментов (tool calls) от AI-агентов в реальном времени. Система классифицирует риски, прежде чем разрешить выполнение команды.

С точки зрения работы Phinq использует концепцию Human-in-the-Loop («человек в контуре»), разделяя контроль на две основные части. Первая — это команды с низким риском или обратимые (Reversible), которые система разрешает выполнять автоматически. Вторая — высокорисковые и необратимые (Irreversible) команды, такие как удаление базы данных; они временно приостанавливаются до получения одобрения от человека.

Кроме того, система включает функцию Tamper-evident Audit Log для записи истории всех решений и действий с использованием технологии Hash-chained, что предотвращает подделку и поддерживает аудит. Что касается совместимости, Phinq поддерживает интеграцию с различными ведущими фреймворками и инструментами ИИ, такими как OpenAI, Anthropic, LangChain, CrewAI, AutoGen и Claude Code.