ทันเอไอ

YC 출신 스타트업 Agnost AI, AI 에이전트의 '숨겨진 사용자 불만' 감지 도구 출시

Agnost AI가 AI 에이전트와의 대화를 자동으로 분석해 사용자가 직접 말하지 않는 잠재적 문제와 니즈를 파악하는 솔루션을 선보였습니다.

Y Combinator(YC S26)의 지원을 받는 스타트업 Agnost AI가 채팅 및 음성 기반 AI 에이전트를 개발하는 팀을 위한 분석 도구를 출시했습니다. 기존의 클릭 기반 지표로는 평가하기 어려운 AI 대화형 서비스의 성능을 최적화하기 위한 솔루션입니다.

Agnost AI의 핵심은 프로덕션 환경에서 사용자와 AI 에이전트 간의 실제 대화를 분석해 '행동 실패(behavioral failures)'를 찾아내는 것입니다. 예를 들어, 사용자가 에이전트에게 욕설을 하거나(rage-prompting), 같은 요청을 다른 문장으로 반복하거나, 에이전트의 오해를 수정해야 하거나, 없는 기능을 문의하거나, 답변은 정확해도 대화를 갑자기 중단하는 등의 숨겨진 불만 사항을 포착합니다.

기존 로그를 연동하기만 하면 별도의 설치 없이 바로 분석이 가능하며, 사용자 의도, 기능 요청, 불만 사항 등을 자동으로 분류합니다. 분석된 인사이트는 태깅된 리스트 형태로 제공되어 제품 개선이나 모델 파인튜닝에 즉시 활용할 수 있습니다. 또한, 시스템이 직접 프로프트나 에이전트 도구를 개선하기 위한 코드 변경 요청(Pull Request)까지 생성할 수 있습니다.

창업자인 Shubham과 Parth는 Hacker News의 Launch HN을 통해, 사용자가 직접 피드백을 주지 않아도 서비스의 병목 구간과 진정한 니즈를 파악하도록 돕는 것이 목표라고 밝혔습니다. 현재 Entrepreneurs First로부터 25만 달러의 시드 투자를 유치한 것으로 알려졌습니다.