Forschende stellen „Nexus“ vor: Das System hilft Agentic LLMs, zahlreiche Tools schneller zu verwalten und reduziert Engpässe beim Verarbeitungsstart
Eine neue Studie auf arXiv schlägt eine Lösung für den Time-to-First-Token-Engpass bei Large Language Models vor, die Tools über das Model Context Protocol nutzen.
Die Studie „Nexus: Depth-Adaptive KV-Cache Splicing and Retrieval-Decoupled Tool Routing for Agentic LLMs on Unified Memory“ von Mustafa Arslan, veröffentlicht auf arXiv unter arXiv:2608.20397, untersucht einen häufigen Engpass bei Agentic Large Language Models (LLM), die eigenständig Entscheidungen treffen und externe Tools aufrufen können.
Agentic LLMs, die das Model Context Protocol (MCP) verwenden, müssen derzeit die Schemas ihrer Tools bei jeder Konversationsrunde neu codieren. Dadurch wird die Prefill-Phase, deren Komplexität quadratisch mit der Sequenzlänge wächst, zu einem wesentlichen Faktor für den starken Anstieg der Time-to-First-Token (TTFT). Mit zunehmender Größe der Tool Registry kann dies sogar das Context Window überlasten.
Nexus löst das Problem, indem es das Routing von den Kosten des Schema-Prefill entkoppelt. Ein INT8 Semantic Lookaside Buffer (SLB) und ein kalibriertes Cross-Encoder Margin Gate wählen Tools per Retrieval aus. Die Argumente werden über komprimierte Textsignaturen erzeugt, statt den herkömmlichen Key/Value (KV) Cache zu verwenden.
Die Experimente zeigen, dass dieser Ablauf unabhängig von der Modelltiefe arbeitet. Die Routing-Genauigkeit bleibt auch bei einer Erweiterung auf 250 Tools stabil bei etwa 89 %.
Die Forschung könnte die Entwicklung künftiger AI Agents voranbringen, da Modelle damit zahlreiche Tools effizient verbinden und aufrufen können, ohne durch lange anfängliche Verarbeitungszeiten ausgebremst zu werden.