Agnost AI: YC-Startup startet Analyse-Tool, das versteckte Nutzerfrustrationen aufdeckt
Das Startup Agnost AI hat ein Tool zur automatischen Analyse von KI-Agent-Dialogen entwickelt, um versteckte Probleme und Bedürfnisse zu identifizieren, die bisher mühsam manuell ausgewertet werden mussten.
Agnost AI, ein von Y Combinator (YC S26) unterstütztes Startup, hat ein Analyse-Tool für Teams veröffentlicht, die KI-Chat- und Sprachagenten entwickeln. Ziel ist es, die Schwächen herkömmlicher Metriken wie Klickzahlen bei der Bewertung von Konversations-KI zu überwinden.
Das Herzstück von Agnost AI ist die Analyse echter Nutzerdialoge in der Produktionsumgebung, um „verhaltensbasierte Fehler“ zu erkennen – Signale für Probleme, die Nutzer nicht explizit äußern. Dazu gehören Anzeichen von Frustration wie „Rage-Prompting“ (wütende Eingaben), wiederholte Versuche bei gleicher Fragestellung, Korrekturbedarf bei Fehlinterpretationen der KI, Anfragen zu fehlenden Funktionen oder das vorzeitige Abbrechen von Dialogen, selbst wenn die KI technisch korrekt geantwortet hat.
Agnost AI importiert vorhandene Konversations-Logs ohne zusätzliche Installation und kategorisiert Feedback-Signale nach Absicht, Funktionswünschen, Frustrationspunkten und Fehlermustern. Die Ergebnisse werden für Produktteams strukturiert aufbereitet, um als Grundlage für Fine-Tuning oder Produktplanung zu dienen. Zudem kann das System laut Y Combinator Pull Requests (PRs) vorschlagen, um Prompts und Tools des Agenten zu optimieren.
Die Gründer Shubham und Parth betonen, dass es ihr Ziel ist, Teams ein tieferes Verständnis für Nutzerhürden zu vermitteln, da explizites Feedback oft ausbleibt. Berichten zufolge hat das Unternehmen 250.000 US-Dollar in einer Pre-Seed-Runde von Entrepreneurs First erhalten, was jedoch noch nicht offiziell bestätigt wurde.
Das Tool hilft Entwicklern, die Effektivität von KI-Agenten und Chatbots zu steigern, indem es Frustration reduziert und Bedürfnisse präzise erkennt, ohne auf direktes Nutzerfeedback angewiesen zu sein.