ทันเอไอ

研究者が「Nexus」を提案、Agentic LLMの多数のツール管理を高速化し、処理開始時のボトルネックを軽減

arXivで公開された新たな研究が、Model Context Protocol経由でツールを利用する大規模言語モデルのTime-to-First-Tokenボトルネックを解消する手法を提案した

Mustafa Arslanが執筆し、arXiv（arXiv:2608.20397）で公開した論文「Nexus: Depth-Adaptive KV-Cache Splicing and Retrieval-Decoupled Tool Routing for Agentic LLMs on Unified Memory」は、意思決定や外部ツールの呼び出しが可能なAgentic Large Language Models（LLM）で生じやすいボトルネックを取り上げている。

現在、Model Context Protocol（MCP）を利用するAgentic LLMは、会話のたびにツールのSchemaを再エンコードする必要がある。そのため、シーケンス長に対して計算量が二次関数的に増えるPrefillが、Time-to-First-Token（TTFT）を急増させる主因となる。Tool Registry内のツール数が増え続けると、Context Windowを圧迫する場合もある。

Nexusはこの問題を解決するため、Routing処理をSchema-prefillのコストから分離。INT8 semantic lookaside buffer（SLB）とcalibrated cross-encoder margin gateを使い、Retrievalによってツールを選択する。引数は従来のKey/Value（KV）cacheではなく、圧縮したテキスト署名から生成する。

実験では、この処理経路が深度に依存せず、システム内のツール数を250まで増やしてもRouting精度は約89%を維持した。