ทันเอไอ

Lanzamiento de Phinq, el sistema de control de seguridad para AI Agents que previene errores antes de ejecutarse

Phinq, un nuevo software de código abierto, actúa como intermediario para filtrar las instrucciones de los AI Agents y prevenir posibles daños.

En una era en la que los agentes de inteligencia artificial (AI Agents) desempeñan un papel cada vez mayor en la automatización, aumenta el riesgo de que la IA ejecute por error comandos graves, como eliminar datos críticos o modificar sistemas sin querer. Recientemente, se ha desarrollado un proyecto de código abierto llamado "Phinq" específicamente para resolver este problema.

Phinq actúa como una capa de gobernanza en tiempo de ejecución (Runtime Governance Layer), posicionándose como un proxy o middleware que intercepta todas las llamadas a herramientas (tool calls) de los AI agents en tiempo real. El sistema clasifica el riesgo antes de permitir que el comando se ejecute realmente.

En cuanto a su funcionamiento, Phinq utiliza el concepto de humano en el bucle (Human-in-the-Loop), dividiendo el control en dos partes principales. La primera son los comandos de bajo riesgo o reversibles, los cuales el sistema permite ejecutar automáticamente. La segunda son los comandos de alto riesgo e irreversibles, como eliminar bases de datos; estos se suspenden temporalmente hasta recibir la aprobación humana.

Además, el sistema cuenta con la función Tamper-evident Audit Log para registrar el historial de decisiones y acciones en cada paso mediante tecnología de cadena de bloques hash (hash-chained), lo que evita modificaciones y permite auditorías retrospectivas. En términos de compatibilidad, Phinq admite conexiones con una variedad de frameworks y herramientas de IA líderes como OpenAI, Anthropic, LangChain, CrewAI, AutoGen y Claude Code.