ทันเอไอ

研究指出：技能表征方式直接影响 AI Agent 的工具选择

基于多模态视频 Agent 系统 Tinycloud 的案例研究发现，技能表征（Representation）方式会显著影响 AI Agent 的技能检索与路由选择。

Kevin Dela Rosa 在 arXiv 上发表了题为《Representation Affects Retrieval: A Case Study of Skill Discovery and Routing in a Multimodal Agent Harness》（arXiv:2608.20389）的研究论文，探讨了生产级 Multimodal Agent（多模态智能体）系统中的技能发现与路由（Skill Discovery and Routing）机制。

该研究的核心挑战在于：当 Agent 的技能库不断扩大时，系统应如何表征各项技能的信息，以便模型精准选择匹配用户任务的工具。在小型系统中，大语言模型可以直接读取 System Prompt 中的技能列表并基于上下文（Context）做出判断；但随着技能数量激增，系统通常必须依赖基于嵌入的检索（Embedding-based Retrieval）来预先筛选相关技能。

该研究以多模态视频 Agent 系统 Tinycloud 为案例，将技能表征分为两大主要类型：一是封装了单个外部 API 或系统工具的 Tool-skill（相当于 Agent 的基础操作词汇），二是协同调度多个 Tool-skill 以完成多步骤任务的 Workflow-skill。

核心发现表明，技能表征（Representation）形式直接影响模型发现、排序以及匹配指令选择合适技能的能力——无论是在小型系统中通过 Prompt 直接选择，还是在技能库扩大后通过 Embedding 进行检索。不过，由于本研究仅基于单一系统的案例，其结论未必完全适用于所有类型的 Agent。

该论文已被定于 2026 年 7 月 24 日在澳大利亚墨尔本举行的 SIGIR 2026 旗下 AgentSearch ’26 Workshop 录用，这表明技能描述的设计已逐渐演变为信息检索（Information Retrieval）领域的核心问题，而不仅限于 Prompt 工程。