ทันเอไอ

연구 결과: 스킬 표현 방식이 AI Agent의 도구 선택에 직접적 영향 미쳐

동영상 시스템 Tinycloud 사례 연구에 따르면, 스킬의 표현(Representation) 방식이 AI Agent의 스킬 검색 및 라우팅 성능을 좌우하는 것으로 나타났다.

Kevin Dela Rosa가 arXiv에 논문 "Representation Affects Retrieval: A Case Study of Skill Discovery and Routing in a Multimodal Agent Harness"(arXiv: 2608.20389)를 발표하며, 실제 운영 환경의 Multimodal Agent 시스템에서 적절한 스킬을 탐색하고 연결하는 'Skill Discovery and Routing'을 분석했다.

핵심 과제는 Agent의 스킬 라이브러리가 확장될 때, 모델이 사용자의 작업에 맞는 도구를 정확히 선택하도록 각 스킬을 어떻게 표현할 것인가이다. 소규모 시스템에서는 언어 모델이 System Prompt에 포함된 스킬 목록을 확인하고 Context에서 직접 판단할 수 있다. 그러나 스킬 수가 늘어나면 관련 스킬을 먼저 선별하기 위해 Embedding-based Retrieval(임베딩 기반 검색)에 의존해야 하는 경우가 많다.

이번 연구는 멀티모달 비디오 Agent 시스템인 Tinycloud를 사례로 활용했다. 스킬 표현은 크게 외부 API나 시스템 도구 1개를 래핑해 Agent의 기본 어휘 역할을 하는 Tool-skill과, 여러 Tool-skill을 조합해 다단계 작업을 처리하는 Workflow-skill 두 가지로 분류했다.

주요 연구 결과에 따르면, 스킬을 설명하고 표현하는 방식(Representation)은 소규모 시스템의 프롬프트 기반 선택이든 대규모 라이브러리의 임베딩 기반 검색이든 상관없이 모델이 스킬을 탐색, 순위화, 선택하는 능력에 중대한 영향을 미치는 것으로 나타났다. 다만 단일 시스템을 대상으로 한 사례 연구인 만큼, 동일한 패턴이 모든 유형의 Agent에 일괄 적용된다고 단정하기는 어렵다.

해당 논문은 2026년 7월 24일 호주 멜버른에서 열린 SIGIR 2026의 AgentSearch ’26 워크숍에 채택되었으며, 이는 스킬 설명 설계가 단순한 프롬프트 작성을 넘어 정보 검색(Information Retrieval) 문제의 핵심 영역으로 자리 잡고 있음을 보여준다.