La représentation des compétences influence la sélection par les agents IA, selon une étude
Une étude de cas sur le système vidéo Tinycloud montre que la façon de décrire les compétences influe directement sur leur découverte et leur sélection par les agents IA.
Kevin Dela Rosa a publié l'article de recherche « Representation Affects Retrieval: A Case Study of Skill Discovery and Routing in a Multimodal Agent Harness » sur arXiv (n° 2608.20389), portant sur la découverte et le routage des compétences (Skill Discovery and Routing) dans des systèmes d'agents multimodaux en conditions réelles.
Le défi majeur : à mesure que le catalogue de compétences s'élargit, comment représenter chaque outil pour que le modèle sélectionne le plus adapté à la tâche ? Dans les petits systèmes, le modèle de langage peut analyser la liste des compétences fournie dans le System Prompt et décider directement à partir du contexte. En revanche, lorsque le nombre d'outils augmente, le système doit souvent s'appuyer sur une recherche vectorielle (Embedding-based Retrieval) pour pré-sélectionner les compétences pertinentes.
L'étude prend pour cas d'usage Tinycloud, un système d'agent pour la vidéo multimodale, et divise les compétences en deux catégories : les « Tool-skills », qui encapsulent une API externe ou un outil système unique pour former le vocabulaire de base de l'agent, et les « Workflow-skills », qui orchestrent plusieurs Tool-skills pour exécuter des tâches en plusieurs étapes.
Le principal enseignement est que la représentation (le format et la description des données) conditionne la capacité du modèle à découvrir, classer et sélectionner les compétences adaptées, que ce soit via un prompt direct ou par recherche d'embeddings. Il s'agit toutefois d'une étude de cas spécifique, dont les conclusions ne doivent pas être automatiquement généralisées à tous les types d'agents.
L'article a été accepté pour présentation lors de l'atelier AgentSearch ’26 dans le cadre de SIGIR 2026 à Melbourne, en Australie, le 24 juillet 2026. Cela illustre bien que la formulation des compétences relève désormais de la recherche d'information (Information Retrieval) et non plus d'un simple travail de prompting.
Les concepteurs d'agents ne doivent pas se focaliser uniquement sur le volume d'outils ou les capacités du modèle : la façon de nommer, délimiter et documenter une compétence détermine la précision avec laquelle l'IA l'utilisera. Un enjeu clé pour toute organisation orchestrant des agents connectés à de multiples API.