ทันเอไอ

AI 에이전트 안전 통제 시스템 'Phinq' 공개, 실제 실행 전 오류 차단

AI 에이전트의 명령을 중간에서 가로채고 필터링하여 발생 가능한 손해를 예방하는 신규 오픈소스 소프트웨어 Phinq

AI 에이전트가 자동화 업무에서 점차 더 큰 역할을 담당함에 따라, 중요 데이터 삭제나 의도치 않은 시스템 수정 등 AI가 치명적인 명령 실수를 저지를 위험도 함께 커지고 있습니다. 이러한 문제를 해결하기 위해 최근 'Phinq'라는 오픈소스 프로젝트가 개발되었습니다.

Phinq는 런타임 거버넌스 레이어(Runtime Governance Layer) 역할을 하며, 프록시(Proxy) 또는 미들웨어(Middleware)로 위치하여 AI 에이전트의 모든 툴 호출(Tool calls)을 실시간으로 가로챕니다. 시스템은 해당 명령이 실제로 실행되기 전에 위험도를 분류합니다.

작동 측면에서 Phinq는 휴먼 인 더 루프(Human-in-the-Loop) 개념을 활용하여 제어를 두 가지 주요 부분으로 나눕니다. 첫째, 위험도가 낮거나 복구가 가능한(Reversible) 명령은 시스템이 자동으로 실행을 허용합니다. 둘째, 데이터베이스 삭제와 같이 위험도가 높고 되돌릴 수 없는(Irreversible) 명령은 인간의 승인을 받을 때까지 일시 중단됩니다.

또한, 이 시스템은 변조를 방지하고 사후 감사를 지원하기 위해 해시 체인(Hash-chained) 기술을 사용하여 모든 단계의 결정 및 작업 기록을 저장하는 탬퍼 에비던트 감사 로그(Tamper-evident Audit Log) 기능을 갖추고 있습니다. 호환성 측면에서 Phinq는 OpenAI, Anthropic, LangChain, CrewAI, AutoGen, Claude Code 등 다양한 주요 AI 프레임워크 및 도구와의 연동을 지원합니다.