AgentDistill: Training-Free Agent Distillation with Generalizable MCP Boxes

要約

知識の蒸留は、出力または内部表現を整列させることにより、大規模な言語モデル（LLMS）を小さなものに圧縮するための成熟した分野になりましたが、計画、メモリ、およびツールの使用を伴うLLMベースのエージェントの蒸留は、比較的露出度の低いままです。
既存のエージェント蒸留方法は通常、完全な教師の軌跡を再生するか、段階的な教師ツールの使用を模倣しますが、学生エージェントを訓練して、新しい環境で動的に計画し行動するのに苦労します。
エージェントディスチルは、教師が自動的に生成した構造化および再利用可能なタスク解決モジュールをモデルコンテキストプロトコル（MCPS）の直接再利用を介して効率的でスケーラブルな知識転送を可能にする、斬新でトレーニングのないエージェント蒸留フレームワークを提案します。
これらの蒸留MCPの再利用により、学生エージェントはドメイン全体で能力を一般化し、監督や人間の介入を最小限に抑えて新しい問題を解決できます。
生物医学的および数学的ベンチマークに関する実験は、小言語モデルに基づいて構築された蒸留された学生エージェントが、OctoTools（GPT-4O）などの大規模なLLMを使用して高度なシステムに匹敵するパフォーマンスを実現できることを示しており、スケーラブルで費用効率の高いインテリジェントエージェントを構築する際のフレームワークの有効性を強調しています。

要約(オリジナル)

While knowledge distillation has become a mature field for compressing large language models (LLMs) into smaller ones by aligning their outputs or internal representations, the distillation of LLM-based agents, which involve planning, memory, and tool use, remains relatively underexplored. Existing agent distillation methods typically replay full teacher trajectories or imitate step-by-step teacher tool usage, but they often struggle to train student agents to dynamically plan and act in novel environments. We propose AgentDistill, a novel, training-free agent distillation framework that enables efficient and scalable knowledge transfer via direct reuse of Model-Context-Protocols (MCPs), which are structured and reusable task-solving modules autonomously generated by teacher agents. The reuse of these distilled MCPs enables student agents to generalize their capabilities across domains and solve new problems with minimal supervision or human intervention. Experiments on biomedical and mathematical benchmarks demonstrate that our distilled student agents, built on small language models, can achieve performance comparable to advanced systems using large LLMs such as OctoTools (GPT-4o), highlighting the effectiveness of our framework in building scalable and cost-efficient intelligent agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google