TUMS: Enhancing Tool-use Abilities of LLMs with Multi-structure Handlers

要約

最近、大規模な言語モデル（LLM）は、幅広いNLPタスクを解決し、自然言語の理解と生成の能力を活用する上でますます重要な役割を果たしてきました。
外部ツールとの統合により、LLMSの有効性がさらに向上し、より正確でタイムリーな、専門的な応答が提供されます。
ただし、LLMは、主に誤ったパラメーターに起因する実行不可能なアクションと不適切なアクションで依然として困難に直面しています。
LLMSによってパラメーターを生成するプロセスは、さまざまなツールのさまざまな困難を考慮せずに粗視化戦略を採用して、ツールレベルに限定されます。
この問題に対処するために、ツールレベルの処理をパラメーターレベルの処理に変換することにより、LLMSのツール使用機能を強化するように設計された新しいフレームワークであるTUMSを提案します。
具体的には、私たちのフレームワークは4つの重要なコンポーネントで構成されています。（1）LLMSがタスクをよりよく理解できるようにするユーザーの意図を識別する意図的な認識者。
（2）複雑なタスクをよりシンプルなサブタスクに分解するタスク分解者。それぞれがツール呼び出しを含む。
（3）正確なパラメーターを生成するためのマルチ構造ハンドラーを備えたサブタスクプロセッサ。
（4）執行者。
私たちの経験的研究は、TUMSフレームワークの有効性と効率を証明し、平均19.6 \％と50.6 \％の改善がツールカの簡単かつハードベンチマークで個別に改善されました。一方、各アブレーション実験で各部品の重要な貢献を実証し、より多くの洞察を提供し、ツール授与LLMSでの将来の研究を刺激しました。

要約(オリジナル)

Recently, large language models(LLMs) have played an increasingly important role in solving a wide range of NLP tasks, leveraging their capabilities of natural language understanding and generating. Integration with external tools further enhances LLMs’ effectiveness, providing more precise, timely, and specialized responses. However, LLMs still encounter difficulties with non-executable actions and improper actions, which are primarily attributed to incorrect parameters. The process of generating parameters by LLMs is confined to the tool level, employing the coarse-grained strategy without considering the different difficulties of various tools. To address this issue, we propose TUMS, a novel framework designed to enhance the tool-use capabilities of LLMs by transforming tool-level processing into parameter-level processing. Specifically, our framework consists of four key components: (1) an intent recognizer that identifies the user’s intent to help LLMs better understand the task; (2) a task decomposer that breaks down complex tasks into simpler subtasks, each involving a tool call; (3) a subtask processor equipped with multi-structure handlers to generate accurate parameters; and (4) an executor. Our empirical studies have evidenced the effectiveness and efficiency of the TUMS framework with an average of 19.6\% and 50.6\% improvement separately on easy and hard benchmarks of ToolQA, meanwhile, we demonstrated the key contribution of each part with ablation experiments, offering more insights and stimulating future research on Tool-augmented LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google