Agnost AI, startup de YC, lanza una herramienta de análisis que detecta la 'frustración' no expresada por los usuarios
Agnost AI ha desarrollado una herramienta que analiza automáticamente las conversaciones con agentes de IA para identificar problemas y necesidades ocultas de los usuarios, tareas que antes requerían revisión manual.
Agnost AI, una startup respaldada por Y Combinator (YC S26), ha lanzado una herramienta de análisis diseñada específicamente para equipos que crean agentes de IA basados en chat y voz. La plataforma aborda el problema de que las métricas tradicionales, como el conteo de clics, no son suficientes para evaluar el rendimiento de productos conversacionales.
El núcleo de Agnost AI consiste en analizar las conversaciones reales entre usuarios y agentes en producción para detectar "fallos de comportamiento". Estos actúan como señales de problemas que los usuarios no mencionan directamente, como el uso de lenguaje agresivo hacia el agente (rageprompting), la repetición de solicitudes con diferentes palabras, correcciones constantes, consultas sobre funciones inexistentes o el abandono de la sesión pese a recibir respuestas técnicamente correctas.
La herramienta importa los historiales de chat (logs) existentes sin necesidad de instalaciones complejas. Luego, el sistema identifica señales de retroalimentación explícitas e implícitas, clasificándolas en categorías como intenciones del usuario, solicitudes de funciones, puntos de frustración y patrones de error. Estos insights se exportan como listas etiquetadas para ayudar a los equipos de producto a planificar mejoras o ajustar los modelos (fine-tuning). Además, el sistema puede generar Pull Requests (PR) para optimizar los prompts y las herramientas de los agentes.
Sus fundadores, Shubham y Parth, señalan que el objetivo es cerrar la brecha de comprensión sobre dónde se estancan los usuarios, ya que rara vez ofrecen feedback directo. Se reporta que la empresa levantó 250,000 dólares en una ronda pre-seed liderada por Entrepreneurs First.
Esta herramienta permite a los desarrolladores mejorar los chatbots y agentes de IA que usamos a diario, reduciendo la frustración del usuario y respondiendo a sus necesidades reales sin esperar a que presenten una queja formal.