Представлен Agnost AI — инструмент анализа AI Agents от Y Combinator
Agnost AI, новая платформа продуктовой аналитики от Y Combinator (набор S26), помогает выявлять скрытые ошибки AI Agents, которые пропускают стандартные тесты.
По мере роста популярности приложений с AI Agents разработчики все чаще сталкиваются с проблемой проверки корректности их диалогов с реальными пользователями. Недавно Agnost AI представила платформу продуктовой аналитики, созданную специально для решения этой задачи.
Основная задача Agnost AI — анализировать диалоги пользователей с AI Agent в рабочей среде и находить неочевидные проблемы, которые часто упускают стандартные системы мониторинга: «тихие» сбои (silent failures), дрейф поведения (drift), галлюцинации, недовольство пользователей и сигналы оттока.
Помимо обнаружения неполадок, платформа выявляет паттерны в беседах для улучшения процесса оценки (Evals) и предлагает решения — вплоть до создания Pull Request с исправлениями кода. В настоящее время Agnost AI входит в состав батча Y Combinator S26.
Позволяет разработчикам AI-приложений точнее отслеживать и устранять ошибки в работе AI Agents, снижая количество сбоев и повышая удовлетворенность пользователей.