Facilitating Multi-turn Function Calling for LLMs via Compositional Instruction Tuning

要約

大規模言語モデル（LLM）は、その性能を向上させるために関数を呼び出したり、外部ツールを使用したりする能力を含め、多様なタスクを実行する上で大きな可能性を示してきた。LLMによる関数呼び出しに関する現在の研究は、主にシングルターンの相互作用に焦点を当てているが、本論文では、LLMがマルチターンの関数呼び出しに関与する必要性が見過ごされていることを取り上げる。これを促進するために、ボトムアップの命令構築とトップダウンの軌道生成により、合成的な命令チューニングデータを生成するアプローチBUTTONを紹介する。ボトムアップフェーズでは、実世界のシナリオに基づいた単純なアトミックタスクを生成し、アトミックタスクに基づいたヒューリスティック戦略を用いて合成タスクを構築する。次に、これらの構成タスクに対応する関数定義を合成する。トップダウンフェーズでは、模擬人間、アシスタント、ツール間の相互作用を利用したマルチエージェント環境を用いて、複数ターンの関数呼び出し軌跡を収集する。このアプローチにより、タスクの構成性が保証され、構成タスク内のアトミックタスクを調べることにより、効果的な関数と軌跡の生成が可能となる。我々は、8kデータポイントからなるデータセットBUTTONInstructを作成し、様々なLLMにわたる広範な実験を通してその有効性を実証する。

要約(オリジナル)

Large Language Models (LLMs) have exhibited significant potential in performing diverse tasks, including the ability to call functions or use external tools to enhance their performance. While current research on function calling by LLMs primarily focuses on single-turn interactions, this paper addresses the overlooked necessity for LLMs to engage in multi-turn function calling–critical for handling compositional, real-world queries that require planning with functions but not only use functions. To facilitate this, we introduce an approach, BUTTON, which generates synthetic compositional instruction tuning data via bottom-up instruction construction and top-down trajectory generation. In the bottom-up phase, we generate simple atomic tasks based on real-world scenarios and build compositional tasks using heuristic strategies based on atomic tasks. Corresponding function definitions are then synthesized for these compositional tasks. The top-down phase features a multi-agent environment where interactions among simulated humans, assistants, and tools are utilized to gather multi-turn function calling trajectories. This approach ensures task compositionality and allows for effective function and trajectory generation by examining atomic tasks within compositional tasks. We produce a dataset BUTTONInstruct comprising 8k data points and demonstrate its effectiveness through extensive experiments across various LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL