Riset Tunjukkan Cara Representasi Keahlian Pengaruhi Keputusan AI Agent
Studi kasus dari sistem video Tinycloud menemukan bahwa representasi atau cara menyajikan informasi keahlian berdampak pada penemuan dan pemilihan kemampuan oleh AI Agent.
Kevin Dela Rosa memublikasikan penelitian berjudul “Representation Affects Retrieval: A Case Study of Skill Discovery and Routing in a Multimodal Agent Harness” di arXiv (2608.20389), yang mengkaji penemuan dan perutean keahlian (Skill Discovery and Routing) pada sistem Multimodal Agent skala produksi.
Tantangan utamanya: saat repositori keahlian agen makin besar, bagaimana sistem harus menyajikan informasi tiap keahlian agar model memilih alat yang tepat untuk tugas pengguna. Pada sistem berskala kecil, model bahasa dapat meninjau daftar keahlian di System Prompt dan memutuskan langsung dari konteks. Namun, ketika jumlah keahlian bertambah, sistem umumnya harus bergantung pada Embedding-based Retrieval (pencarian berbasis vektor semantik) untuk menyaring keahlian yang relevan terlebih dahulu.
Riset ini menggunakan Tinycloud, sebuah sistem agen video multimodal, sebagai studi kasus. Representasi keahlian dibagi menjadi dua jenis utama: Tool-skill, yang membungkus satu API eksternal atau alat sistem dan berfungsi layaknya kosakata dasar agen; serta Workflow-skill, yang mengoordinasikan beberapa Tool-skill untuk menyelesaikan tugas multitahap.
Temuan utamanya menunjukkan bahwa representasi (format deskripsi dan penyajian data) memengaruhi kemampuan model dalam menemukan, memeringkatkan, dan memilih keahlian yang sesuai dengan instruksi—baik lewat prompt pada sistem kecil maupun pencarian berbasis embedding pada repositori besar. Meski demikian, karena riset ini merupakan studi kasus pada satu sistem, hasilnya belum tentu berlaku identik untuk seluruh jenis agen.
Makalah ini diterima untuk dipresentasikan di workshop AgentSearch ’26 pada ajang SIGIR 2026 di Melbourne, Australia, pada 24 Juli 2026. Hal ini menegaskan bahwa perancangan deskripsi keahlian kini menjadi bagian dari ranah Information Retrieval (temu balik informasi), bukan sekadar persoalan menyusun prompt.
Pengembang agen sebaiknya tidak hanya berfokus pada jumlah alat atau kapabilitas model. Cara penamaan, penetapan cakupan, dan pendeskripsian keahlian sangat menentukan ketepatan AI dalam memilih alat. Isu ini relevan bagi organisasi yang sedang membangun agen untuk mengintegrasikan berbagai sistem atau API.