Agnost AI, startup dari YC, luncurkan alat analisis percakapan untuk mendeteksi 'rasa frustrasi' tersembunyi dari pengguna
Startup baru Agnost AI mengembangkan alat untuk menganalisis percakapan dengan AI Agent secara otomatis guna menemukan masalah dan kebutuhan pengguna yang tersembunyi, yang biasanya harus dibaca secara manual oleh tim pengembang.
Agnost AI, startup yang didukung oleh Y Combinator (YC S26), meluncurkan alat analisis produk khusus bagi tim yang membangun AI Agent berbasis teks dan suara. Alat ini hadir untuk mengatasi masalah di mana metrik tradisional, seperti hitungan klik, tidak lagi efektif untuk mengukur performa produk berbasis percakapan.
Inti dari Agnost AI adalah menganalisis percakapan nyata antara pengguna dan AI Agent dalam skala produksi untuk menemukan "kegagalan perilaku" (behavioral failures), yaitu tanda-tanda masalah yang tidak disampaikan langsung oleh pengguna. Contohnya seperti pengguna yang mulai marah atau menggunakan kata kasar (rageprompting), mencoba mengetik permintaan yang sama berulang kali dengan kalimat berbeda, memperbaiki informasi yang disalahpahami oleh Agent, menanyakan fitur yang belum tersedia, atau sekadar meninggalkan percakapan meskipun Agent telah memberikan jawaban yang benar secara teknis.
Berdasarkan informasi yang tersedia, Agnost AI mengimpor log percakapan yang ada tanpa memerlukan instalasi tambahan. Sistem kemudian mengidentifikasi sinyal umpan balik baik yang eksplisit maupun implisit, lalu mengategorikannya seperti maksud pengguna (intent), permintaan fitur baru, poin frustrasi, dan berbagai pola kegagalan lainnya. Wawasan ini kemudian disajikan dalam bentuk daftar berlabel untuk membantu tim produk merencanakan pengembangan atau digunakan sebagai data untuk fine-tuning model agar lebih cerdas. Selain itu, sumber dari Y Combinator menyebutkan bahwa sistem ini dapat membantu membuat Pull Request (PR) untuk memperbaiki perintah (prompts) dan alat pendukung Agent tersebut.
Shubham dan Parth, pendiri Agnost AI, menyatakan di panggung Launch HN Hacker News bahwa tujuan mereka adalah membantu tim pengembang memahami di mana hambatan pengguna dan apa yang sebenarnya mereka butuhkan—informasi yang sulit didapat karena pengguna jarang memberikan umpan balik secara langsung. Dilaporkan bahwa perusahaan telah mengumpulkan pendanaan pre-seed sebesar 250.000 dolar AS dari Entrepreneurs First, namun informasi ini belum dikonfirmasi secara resmi oleh perusahaan.
Alat ini membantu pengembang meningkatkan chatbot dan AI Agent yang kita gunakan sehari-hari, mengurangi rasa frustrasi, dan merespons kebutuhan pengguna secara lebih tepat tanpa harus menunggu keluhan.