TTPA: Token-level Tool-use Preference Alignment Training Framework with Fine-grained Evaluation

要約

既存のツール学習方法は通常、監視された微調整に依存しており、多くの場合、内部ツール呼び出しの詳細の微調整された最適化を見落とし、好みのアライメントとエラー差別の制限につながります。
これらの課題を克服するために、トークンレベルのツール使用優先アライメントトレーニングフレームワーク（TTPA）を提案します。これは、新しいエラー指向スコアリングメカニズムを使用してLLMSを微調整された好みに合わせたトークンレベルのツール使用優先データセットを構築するためのトレーニングパラダイムです。
TTPAは最初に、生成フローを逆にすることにより、高品質の多ターンツール使用データセットを作成する方法である逆のデータセット構築を導入します。
さらに、トークンレベルの優先サンプリング（TPS）を提案して、世代中にトークンレベルの違いをモデル化することにより、きめ細かい好みをキャプチャします。
スコアリングのバイアスに対処するために、ツールコールエラーを定量化し、トレーニング信号として使用できるエラー指向のスコアリングメカニズム（ESM）を導入します。
3つの多様なベンチマークデータセットでの広範な実験は、TTPAがモデルとデータセット間で強力な一般化能力を示しながら、ツール使用パフォーマンスを大幅に改善することを示しています。

要約(オリジナル)

Existing tool-learning methods usually rely on supervised fine-tuning, they often overlook fine-grained optimization of internal tool call details, leading to limitations in preference alignment and error discrimination. To overcome these challenges, we propose Token-level Tool-use Preference Alignment Training Framework (TTPA), a training paradigm for constructing token-level tool-use preference datasets that align LLMs with fine-grained preferences using a novel error-oriented scoring mechanism. TTPA first introduces reversed dataset construction, a method for creating high-quality, multi-turn tool-use datasets by reversing the generation flow. Additionally, we propose Token-level Preference Sampling (TPS) to capture fine-grained preferences by modeling token-level differences during generation. To address biases in scoring, we introduce the Error-oriented Scoring Mechanism (ESM), which quantifies tool-call errors and can be used as a training signal. Extensive experiments on three diverse benchmark datasets demonstrate that TTPA significantly improves tool-using performance while showing strong generalization ability across models and datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google