API-BLEND: A Comprehensive Corpora for Training and Benchmarking API LLMs

要約

ツールや外部アプリケーション プログラミング インターフェイス (API) を効果的に使用してタスクを計画し、完了するための大規模言語モデル (LLM) に対するニーズが高まっています。
そのため、ツール/API への呼び出しを伴う十分な量のトレーニングおよびテスト データを取得できる方法に大きな関心が寄せられています。
この課題に対処するための主要な戦略として、2 つの研究系統が浮上しています。
1 つ目は合成データ生成技術に焦点を当てており、2 つ目は API / ツールベースのタスクに変換できるタスク隣接データセットのキュレーションに関係しています。
このペーパーでは、既存のデータセットの特定、キュレーション、変換のタスクに焦点を当て、ツール拡張 LLM のトレーニングと体系的テストのための大規模なコーパスである API-BLEND を紹介します。
データセットは、API/ツールの検出、スロットの充填、検出された API のシーケンスなどの API タスクを含む現実世界のシナリオを模倣します。
トレーニングとベンチマークの両方の目的での API-BLEND データセットの有用性を示します。

要約(オリジナル)

There is a growing need for Large Language Models (LLMs) to effectively use tools and external Application Programming Interfaces (APIs) to plan and complete tasks. As such, there is tremendous interest in methods that can acquire sufficient quantities of train and test data that involve calls to tools / APIs. Two lines of research have emerged as the predominant strategies for addressing this challenge. The first has focused on synthetic data generation techniques, while the second has involved curating task-adjacent datasets which can be transformed into API / Tool-based tasks. In this paper, we focus on the task of identifying, curating, and transforming existing datasets and, in turn, introduce API-BLEND, a large corpora for training and systematic testing of tool-augmented LLMs. The datasets mimic real-world scenarios involving API-tasks such as API / tool detection, slot filling, and sequencing of the detected APIs. We demonstrate the utility of the API-BLEND dataset for both training and benchmarking purposes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google