Advancing and Benchmarking Personalized Tool Invocation for LLMs

要約

ツールの呼び出しは、大規模な言語モデル（LLMS）の機能を拡張するための重要なメカニズムであり、最近大きな注目を集めています。
これにより、LLMSは、最新の世界知識にアクセスしながら、ツールコールを通じて複雑な問題を解決できます。
ただし、既存の作業は、主に、ツールの呼び出しのパーソナライズされた制約を考慮せずに、問題解決のためのツールを呼び出すためのLLMの基本能力に焦点を当てています。
この作業では、パーソナライズされたツールの呼び出しの概念を紹介し、2つの重要なタスクを定義します。ツールの好みとプロファイル依存クエリです。
ツールの選好は、機能的に類似したツールを選択するときにユーザーの好みに対応しますが、プロファイル依存のクエリは、ユーザークエリに特定のツールパラメーターがない場合を考慮し、モデルにユーザープロファイルから推測する必要があります。
これらの課題に取り組むために、パーソナライズされたツールの呼び出しのために設計されたデータ合成フレームワークであるPtoolを提案します。
さらに、パーソナライズされたツールの呼び出しを評価するための最初のベンチマークである\ textbf {ptbench}を構築します。
次に、さまざまなオープンソースモデルを微調整し、フレームワークの有効性を実証し、貴重な洞察を提供します。
私たちのベンチマークはhttps://github.com/hyfshadow/ptbenchで公開されています。

要約(オリジナル)

Tool invocation is a crucial mechanism for extending the capabilities of Large Language Models (LLMs) and has recently garnered significant attention. It enables LLMs to solve complex problems through tool calls while accessing up-to-date world knowledge. However, existing work primarily focuses on the fundamental ability of LLMs to invoke tools for problem-solving, without considering personalized constraints in tool invocation. In this work, we introduce the concept of Personalized Tool Invocation and define two key tasks: Tool Preference and Profile-dependent Query. Tool Preference addresses user preferences when selecting among functionally similar tools, while Profile-dependent Query considers cases where a user query lacks certain tool parameters, requiring the model to infer them from the user profile. To tackle these challenges, we propose PTool, a data synthesis framework designed for personalized tool invocation. Additionally, we construct \textbf{PTBench}, the first benchmark for evaluating personalized tool invocation. We then fine-tune various open-source models, demonstrating the effectiveness of our framework and providing valuable insights. Our benchmark is public at https://github.com/hyfshadow/PTBench.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google