ทันเอไอ

Lancement de Phinq, un système de sécurité pour AI Agents afin de bloquer les erreurs avant exécution

Phinq, un nouveau logiciel open source, agit comme un intermédiaire pour filtrer les commandes des AI Agents afin de prévenir d'éventuels dégâts.

À l'ère où les agents d'intelligence artificielle (AI Agents) jouent un rôle croissant dans l'automatisation, le risque qu'une IA commette par mégarde une erreur critique — telle que la suppression de données importantes ou la modification non intentionnelle du système — ne cesse d'augmenter. Récemment, un projet open source nommé « Phinq » a été développé spécifiquement pour résoudre ce problème.

Phinq fait office de Runtime Governance Layer (couche de gouvernance à l'exécution), se positionnant en tant que proxy ou middleware pour intercepter en temps réel tous les appels d'outils (Tool calls) des AI agents. Le système évalue et classifie les risques avant d'autoriser l'exécution effective de la commande.

Côté fonctionnement, Phinq intègre le concept de Human-in-the-Loop en divisant le contrôle en deux volets principaux : d'une part, les commandes à faible risque ou réversibles, que le système autorise automatiquement ; d'autre part, les commandes à haut risque et irréversibles, telles que la suppression de bases de données, qui sont temporairement suspendues dans l'attente d'une approbation humaine.

De plus, la solution propose une fonction Tamper-evident Audit Log pour enregistrer chaque étape des décisions et des actions grâce à la technologie des chaînes de hachage (Hash-chained), garantissant l'inviolabilité des journaux et facilitant les audits a posteriori. En matière de compatibilité, Phinq s'intègre avec divers frameworks et outils d'IA majeurs tels qu'OpenAI, Anthropic, LangChain, CrewAI, AutoGen et Claude Code.