ทันเอไอ

AIエージェントの安全性を制御する「Phinq」発表、実行前のミスを阻止

オープンソースの新ソフトウェア「Phinq」は、AIエージェントからの指示を仲介・フィルタリングし、起こりうる損害を防ぎます。

AIエージェントが自動化業務において重要な役割を果たすようになるにつれ、AIが重要なデータを誤って削除したり、意図せずシステムを改変したりするなどの重大なミスを引き起こすリスクも高まっています。こうした問題に対処するため、オープンソースプロジェクト「Phinq」が新たに開発されました。

PhinqはRuntime Governance Layer（実行時ガバナンスレイヤー）として機能し、プロキシやミドルウェアの役割を果たして、AIエージェントのすべてのツール呼び出し（Tool calls）をリアルタイムでインターセプトします。システムはその指示が実際に実行される前にリスクを分類します。

動作の面では、PhinqはHuman-in-the-Loop（人間参加型）の概念を採用し、制御を主に2つの部分に分けています。1つ目は低リスクまたは可逆的（Reversible）な指示で、システムは自動実行を許可します。2つ目はデータベースの削除など、高リスクかつ不可逆的（Irreversible）な指示であり、これらは人間によって承認されるまで一時的に保留されます。

さらに、ハッシュチェーン技術を用いた「Tamper-evident Audit Log」機能を備えており、すべての意思決定と処理の履歴を記録して改ざんを防ぎ、事後監査をサポートします。互換性の面では、OpenAI、Anthropic、LangChain、CrewAI、AutoGen、Claude Codeなど、主要なAIフレームワークやツールとの接続を幅広くサポートしています。