ToolAlpaca: Generalized Tool Learning for Language Models with 3000 Simulated Cases

要約

大規模な言語モデルが現実世界のツールを効果的に利用できるようにすることは、身体化されたインテリジェンスを実現するために重要です。
ツール学習への既存のアプローチは、主に GPT-4 などの非常に大規模な言語モデルに依存して、汎用化されたツール使用能力をゼロショット方式で取得するか、教師あり学習を利用して限られた範囲のツールをコンパクトなモデルでトレーニングするかのどちらかでした。
ただし、ツール固有のトレーニングを行わずに、より小規模な言語モデルが汎用的なツール使用能力を達成できるかどうかは依然として不明です。
この疑問に対処するために、この論文では、最小限の人的介入で、多様なツール使用コーパスを自動的に生成し、コンパクトな言語モデル上で一般化されたツール使用能力を学習するように設計された新しいフレームワークである ToolAlpaca を紹介します。
具体的には、ToolAlpacaはまずマルチエージェントシミュレーション環境を構築することで、多様性に富んだツール利用コーパスを自動作成します。
このコーパスには、50 の異なるカテゴリにわたる 400 以上の実際のツール API からの 3938 のツール使用インスタンスが含まれています。
その後、構築されたコーパスを使用してコンパクト言語モデルを微調整し、それぞれ ToolAlpaca-7B と ToolAlpaca-13B という 2 つのモデルが生成されます。
最後に、これらのモデルが特別なトレーニングなしでこれまで見たことのないツールを利用できるかどうかを評価します。
実験結果は、ToolAlpaca が GPT-3.5 のような非常に大規模な言語モデルに匹敵する効果的な一般化されたツール使用能力を達成することを示し、一般化されたツール使用能力の学習がコンパクトな言語モデルでも実現可能であることを示しています。

要約(オリジナル)

Enabling large language models to utilize real-world tools effectively is crucial for achieving embodied intelligence. Existing approaches to tool learning have either primarily relied on extremely large language models, such as GPT-4, to attain generalized tool-use abilities in a zero-shot manner, or utilized supervised learning to train limited scopes of tools on compact models. However, it remains uncertain whether smaller language models can achieve generalized tool-use abilities without tool-specific training. To address this question, this paper introduces ToolAlpaca, a novel framework designed to automatically generate a diverse tool-use corpus and learn generalized tool-use abilities on compact language models with minimal human intervention. Specifically, ToolAlpaca first automatically creates a highly diversified tool-use corpus by building a multi-agent simulation environment. The corpus contains 3938 tool-use instances from more than 400 real-world tool APIs spanning 50 distinct categories. Subsequently, the constructed corpus is employed to fine-tune compact language models, resulting in two models, namely ToolAlpaca-7B and ToolAlpaca-13B, respectively. Finally, we evaluate the ability of these models to utilize previously unseen tools without specific training. Experimental results demonstrate that ToolAlpaca achieves effective generalized tool-use capabilities comparable to those of extremely large language models like GPT-3.5, demonstrating that learning generalized tool-use ability is feasible for compact language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google