Token-level Direct Preference Optimization

要約

事前トレーニングされた大規模言語モデル (LLM) を人間の価値観や意図に合わせて微調整することが不可欠です。
このプロセスでは、モデルによって生成された完全な回答の評価に重点を置き、参照 LLM に対するペアごとの比較や KL 発散などの方法がよく利用されます。
ただし、これらの応答の生成は、連続した自己回帰形式に従ってトークン レベルで発生します。
このペーパーでは、トークン レベルでポリシーを最適化することで LLM を人間の好みに合わせるための新しいアプローチである、トークン レベルの直接優先最適化 (TDPO) を紹介します。
発散効率の課題に直面する以前の方法とは異なり、TDPO には各トークンに順方向 KL 発散制約が組み込まれており、整合性と多様性が向上します。
TDPO は、トークンベースの報酬システムに Bradley-Terry モデルを利用して、明示的な報酬モデリングを必要とせずに単純さを維持しながら、KL ダイバージェンスの規制を強化します。
さまざまなテキスト タスクにわたる実験結果は、世代の多様性と整合性のバランスをとる点で TDPO の優れたパフォーマンスを示しています。
特に、TDPO を使用した微調整は、制御された感情生成およびシングルターン対話データセットにおいて DPO よりも優れたバランスを実現し、DPO および PPO ベースの RLHF 手法の両方と比較して、生成される応答の品質を大幅に向上させます。
私たちのコードは https://github.com/Vance0124/Token-level-Direct-Preference-Optimization でオープンソース化されています。

要約(オリジナル)

Fine-tuning pre-trained Large Language Models (LLMs) is essential to align them with human values and intentions. This process often utilizes methods like pairwise comparisons and KL divergence against a reference LLM, focusing on the evaluation of full answers generated by the models. However, the generation of these responses occurs in a token level, following a sequential, auto-regressive fashion. In this paper, we introduce Token-level Direct Preference Optimization (TDPO), a novel approach to align LLMs with human preferences by optimizing policy at the token level. Unlike previous methods, which face challenges in divergence efficiency, TDPO incorporates forward KL divergence constraints for each token, improving alignment and diversity. Utilizing the Bradley-Terry model for a token-based reward system, TDPO enhances the regulation of KL divergence, while preserving simplicity without the need for explicit reward modeling. Experimental results across various text tasks demonstrate TDPO’s superior performance in balancing alignment with generation diversity. Notably, fine-tuning with TDPO strikes a better balance than DPO in the controlled sentiment generation and single-turn dialogue datasets, and significantly improves the quality of generated responses compared to both DPO and PPO-based RLHF methods. Our code is open-sourced at https://github.com/Vance0124/Token-level-Direct-Preference-Optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google