GATE: Graph-based Adaptive Tool Evolution Across Diverse Tasks

要約

大規模な言語モデル（LLM）はツール作成に大きな期待を示していますが、既存のフレームワークは信頼できるツールセットを効率的に構築するのに苦労しており、シングルタスク設定に限定されています。
これらの課題に対処するために、複数のシナリオにわたって再利用可能なツールの階層グラフを動的に構築および進化させる適応フレームワークであるGATE（グラフベースの適応ツールの進化）を提案します。
オープンエンドのタスク（Minecraft）、エージェントベースのタスク（Textcraft、Dabench）、およびコード生成タスク（数学、日付、TABMWP）でゲートを評価します。
我々の結果は、GATEが以前のSOTAと比較してMinecraftで最大4.3倍のマイルストーン完成を達成し、コード生成タスクの既存のツール作成方法で9.23％、エージェントタスクで10.03％の平均改善を提供することを示しています。
GATEは、高効率を維持しながら、適応進化の力、ツールの量、複雑さ、および機能のバランスをとることを示しています。
コードとデータは、\ url {https://github.com/ayanami2003/gate}で利用できます。

要約(オリジナル)

Large Language Models (LLMs) have shown great promise in tool-making, yet existing frameworks often struggle to efficiently construct reliable toolsets and are limited to single-task settings. To address these challenges, we propose GATE (Graph-based Adaptive Tool Evolution), an adaptive framework that dynamically constructs and evolves a hierarchical graph of reusable tools across multiple scenarios. We evaluate GATE on open-ended tasks (Minecraft), agent-based tasks (TextCraft, DABench), and code generation tasks (MATH, Date, TabMWP). Our results show that GATE achieves up to 4.3x faster milestone completion in Minecraft compared to the previous SOTA, and provides an average improvement of 9.23% over existing tool-making methods in code generation tasks and 10.03% in agent tasks. GATE demonstrates the power of adaptive evolution, balancing tool quantity, complexity, and functionality while maintaining high efficiency. Code and data are available at \url{https://github.com/ayanami2003/GATE}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google