Tool-LMM: A Large Multi-Modal Model for Tool Agent Learning

要約

最近、自然言語理解および生成タスクにおける大規模言語モデル (LLM) の驚くべきパフォーマンスにより、エージェント システムを構築するための中央コントローラーとして LLM を使用するという多くの研究が行われました。
複数の研究では、LLM を外部ツールに橋渡ししてアプリケーション シナリオを拡張することに焦点を当てています。
ただし、現在の LLM の認識ツール使用能力は単一のテキスト クエリに限定されており、ユーザーの本当の意図を理解する際に曖昧さが生じる可能性があります。
LLM は、視覚または聴覚に基づいた指示の情報を認識することで、それを排除することが期待されています。
そこで本論文では、学習したLLMがマルチモーダル入力命令を意識し、機能に合ったツールを正しく選択できるように、オープンソースLLMとマルチモーダルエンコーダを組み込んだシステムTool-LMMを提案する。
モデルの機能の評価を容易にするために、HuggingFace のマルチモーダル入力ツールで構成されるデータセットを収集します。
私たちのデータセットのもう 1 つの重要な特徴は、同一の関数と同義の関数が存在するため、同じ命令に対して複数の潜在的な選択肢がデータセットに含まれており、同じクエリに対してより多くの潜在的な解決策が提供されることです。
実験により、LMM がマルチモーダル命令に適切なツールを推奨できることが明らかになりました。
コードとデータは https://github.com/Tool-LMM/Tool-LMM で入手できます。

要約(オリジナル)

Recently, the astonishing performance of large language models (LLMs) in natural language comprehension and generation tasks triggered lots of exploration of using them as central controllers to build agent systems. Multiple studies focus on bridging the LLMs to external tools to extend the application scenarios. However, the current LLMs’ perceiving tool-use ability is limited to a single text query, which may result in ambiguity in understanding the users’ real intentions. LLMs are expected to eliminate that by perceiving the visual- or auditory-grounded instructions’ information. Therefore, in this paper, we propose Tool-LMM, a system incorporating open-source LLMs and multi-modal encoders so that the learnt LLMs can be conscious of multi-modal input instruction and then select the function-matched tool correctly. To facilitate the evaluation of the model’s capability, we collect a dataset featured by consisting of multi-modal input tools from HuggingFace. Another important feature of our dataset is that our dataset also contains multiple potential choices for the same instruction due to the existence of identical functions and synonymous functions, which provides more potential solutions for the same query. The experiments reveal that our LMM is capable of recommending appropriate tools for multi-modal instructions. Codes and data are available at https://github.com/Tool-LMM/Tool-LMM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google