Toolink: Linking Toolkit Creation and Using through Chain-of-Solving on Open-Source Model

要約

大規模言語モデル (LLM) はツールの活用において目覚ましい進歩を示していますが、そのクローズドソースの性質と高い推論コストにより適応性に限界があり、より小規模なオープンソースのモデルを活用する有効な方法が必要です。
このペーパーでは、最初にツールキットを作成し、次に解決連鎖 (CoS) アプローチを通じてツールの計画と呼び出しを統合することによってタスク解決を実行する包括的なフレームワークである Toollink を紹介します。
まず、ChatGPT でモデルの創造性と CoS 機能を活用する際の Toollink の有効性を検証します。
次に、ツールの使用向けに設計された解決チェーン データセットである CoS-GPT をキュレートし、LLaMA-7B モデルを微調整します。
その結果、高度なツール計画機能とツール呼び出し機能を備えた強力なオープンソース モデルである LLaMA-CoS が誕生しました。
BIG ベンチによるさまざまなタスクの評価では、その CoS 能力が ChatGPT の能力に匹敵し、そのパフォーマンスが思考連鎖アプローチを上回っていることが実証されました。
さらなる研究では、LLaMA-CoSの目に見えないタスクへの一般化が強調され、ターゲットタスクに明示的に調整されていないツールキットを使用する能力が実証され、現実世界のシナリオにおける堅牢性が確認されています。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated remarkable progress in utilizing tools, but their closed-source nature and high inference costs pose limitations on their adaptability, necessitating a valid method that leverages smaller, open-sourced models. In this paper, we introduce Toolink, a comprehensive framework that performs task-solving by first creating a toolkit and then integrating the planning and calling of tools through a chain-of-solving (CoS) approach. We first validate the efficacy of Toolink in harnessing the model’s creativity and CoS ability on ChatGPT. Subsequently, we curate CoS-GPT, a chain-of-solving dataset designed for tool-using, and finetune the LLaMA-7B model. It results in LLaMA-CoS, a powerful open-source model with advanced tool-planning and tool-calling capabilities. Evaluation of diverse tasks from BIG-bench demonstrates its CoS ability matches that of ChatGPT while its performance surpasses the chain-of-thought approach. Further studies highlight the generalization of LLaMA-CoS to unseen tasks and showcase its capability in using toolkits not explicitly tailored for the target task, affirming its robustness in real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google