Studie: Skill-Repräsentation beeinflusst Werkzeugauswahl von KI-Agenten
Eine Fallstudie am Video-Agentensystem Tinycloud zeigt, dass die Repräsentation von Skills die Suche und Auswahl passender Werkzeuge durch KI-Agenten maßgeblich beeinflusst.
Kevin Dela Rosa hat auf arXiv (ID: 2608.20389) die Forschungsarbeit „Representation Affects Retrieval: A Case Study of Skill Discovery and Routing in a Multimodal Agent Harness“ veröffentlicht. Die Studie untersucht das Auffinden und Zuweisen passender Fähigkeiten (Skill Discovery and Routing) in produktiven Systemen mit multimodalen Agenten.
Die zentrale Herausforderung: Wächst der Skill-Katalog eines Agenten, stellt sich die Frage, wie die einzelnen Skills repräsentiert werden müssen, damit das Modell das passende Werkzeug für die Nutzeranfrage wählt. Bei kleineren Systemen kann das Sprachmodell alle Skills direkt im System-Prompt erfassen und im Kontext entscheiden. Mit wachsendem Umfang sind Systeme jedoch meist auf Embedding-basiertes Retrieval angewiesen, um vorab relevante Skills zu filtern.
Als Fallstudie dient Tinycloud, ein multimodales Video-Agentensystem. Die Fähigkeiten werden dabei in zwei Haupttypen unterteilt: „Tool-skills“, die einzelne externe APIs oder Systemwerkzeuge kapseln und als Grundvokabular des Agenten fungieren, sowie „Workflow-skills“, die mehrere Tool-skills für mehrstufige Aufgaben orchestrieren.
Die Haupterkenntnis: Die Art der Repräsentation und Beschreibung beeinflusst maßgeblich, wie effektiv das Modell Skills entdecken, einstufen und auswählen kann – sowohl direkt im Prompt bei kleinen Systemen als auch via Embedding-Retrieval bei umfangreichen Tool-Bibliotheken. Da es sich um eine Einzelfallstudie handelt, lassen sich die Ergebnisse jedoch nicht zwingend auf alle Agententypen übertragen.
Das Paper wurde für den Workshop AgentSearch ’26 auf der SIGIR 2026 in Melbourne (24. Juli 2026) angenommen. Dies unterstreicht, dass das Design von Skill-Beschreibungen zunehmend als Problem des Information Retrieval betrachtet werden muss und nicht mehr reines Prompt-Engineering ist.
Agenten-Entwickler sollten sich nicht nur auf die Modellleistung oder die schiere Anzahl der Tools verlassen: Benennung, Abgrenzung und Beschreibung von Skills bestimmen entscheidend, wie zielsicher eine KI sie einsetzt. Das ist hochrelevant für Unternehmen, die Agenten über viele Schnittstellen und APIs hinweg aufbauen.