APIGen: Automated Pipeline for Generating Verifiable and Diverse Function-Calling Datasets

要約

関数呼び出しエージェント モデルの進歩には、多様で信頼性の高い高品質のデータセットが必要です。
このペーパーでは、関数呼び出しアプリケーション用に検証可能な高品質のデータセットを合成するように設計された自動データ生成パイプラインである APIGen について説明します。
APIGen を活用し、21 の異なるカテゴリにわたって 3,673 の実行可能な API を収集し、スケーラブルで構造化された方法で多様な関数呼び出しデータセットを生成します。
データセット内の各データは、形式チェック、実際の関数の実行、セマンティック検証という 3 つの階層段階を通じて検証され、その信頼性と正確性が保証されます。
私たちは、厳選されたデータセットでトレーニングされたモデルが、パラメーターが 7B のみであっても、Berkeley Function-Calling Benchmark で最先端のパフォーマンスを達成し、複数の GPT-4 モデルを上回るパフォーマンスを達成できることを実証します。
さらに、当社の 1B モデルは GPT-3.5-Turbo や Claude-3 Haiku を上回る優れたパフォーマンスを実現します。
関数呼び出しエージェント ドメインの分野を進歩させることを目的として、60,000 の高品質エントリを含むデータセットをリリースします。
データセットは、Huggingface: https://huggingface.co/datasets/Salesforce/xlam-function-calling-60k およびプロジェクトのホームページ: https://apigen-pipeline.github.io/ で入手できます。

要約(オリジナル)

The advancement of function-calling agent models requires diverse, reliable, and high-quality datasets. This paper presents APIGen, an automated data generation pipeline designed to synthesize verifiable high-quality datasets for function-calling applications. We leverage APIGen and collect 3,673 executable APIs across 21 different categories to generate diverse function-calling datasets in a scalable and structured manner. Each data in our dataset is verified through three hierarchical stages: format checking, actual function executions, and semantic verification, ensuring its reliability and correctness. We demonstrate that models trained with our curated datasets, even with only 7B parameters, can achieve state-of-the-art performance on the Berkeley Function-Calling Benchmark, outperforming multiple GPT-4 models. Moreover, our 1B model achieves exceptional performance, surpassing GPT-3.5-Turbo and Claude-3 Haiku. We release a dataset containing 60,000 high-quality entries, aiming to advance the field of function-calling agent domains. The dataset is available on Huggingface: https://huggingface.co/datasets/Salesforce/xlam-function-calling-60k and the project homepage: https://apigen-pipeline.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google