Reward-Augmented Data Enhances Direct Preference Alignment of LLMs

要約

大規模な言語モデル（LLMS）の優先アラインメントは、人間の指示と意図に準拠する能力を大幅に改善しました。
ただし、既存の直接アライメントアルゴリズムは、主に相対的な好みに焦点を当て、AIフィードバック中に裁判官モデルからの報酬スコアを含む優先データにアクセスできるにもかかわらず、応答の定性的な側面を見落としていることがよくあります。
選択されたものとわずかに劣った拒否された応答との間の暗黙の報酬ギャップを最大化するために努力すると、高品質の拒否された応答の過剰適合と不必要な学習が生じる可能性があります。
また、報酬スコアを認識しないことで、LLMは低品質の選択された応答を無差別に支持し、データがまばらな最適な応答に一般化できません。
これらの欠点を克服するために、我々の研究では、データセット内の応答品質の全体的なスペクトルを識別し、学習する報酬条件付きLLMポリシーを導入し、より最適な地域への外挿を導きます。
優先順位を条件に、品質スコアの優先ペアを条件付けして、報酬式のデータセットを構築する効果的で単純なデータリライビング方法を提案します。
さまざまなベンチマークと多様なモデルの実験は、私たちのアプローチが一貫してDPOをかなりのマージンで強化することを示しています。
包括的なアブレーション研究を通じて、我々の方法は優先データの有用性を最大化するだけでなく、学習の問題を軽減し、単なるデータ拡大を超えた幅広い有効性を実証することを実証します。
当社のコードは、https：//github.com/shenao-zhang/reward-augmented-preferenceで入手できます。

要約(オリジナル)

Preference alignment in Large Language Models (LLMs) has significantly improved their ability to adhere to human instructions and intentions. However, existing direct alignment algorithms primarily focus on relative preferences and often overlook the qualitative aspects of responses, despite having access to preference data that includes reward scores from judge models during AI feedback. Striving to maximize the implicit reward gap between the chosen and the slightly inferior rejected responses can cause overfitting and unnecessary unlearning of the high-quality rejected responses. The unawareness of the reward scores also drives the LLM to indiscriminately favor the low-quality chosen responses and fail to generalize to optimal responses that are sparse in data. To overcome these shortcomings, our study introduces reward-conditioned LLM policies that discern and learn from the entire spectrum of response quality within the dataset, helping extrapolate to more optimal regions. We propose an effective yet simple data relabeling method that conditions the preference pairs on quality scores to construct a reward-augmented dataset. The experiments across various benchmarks and diverse models demonstrate that our approach consistently boosts DPO by a considerable margin. Through comprehensive ablation studies, we demonstrate that our method not only maximizes the utility of preference data but also mitigates the issue of unlearning, demonstrating its broad effectiveness beyond mere data expansion. Our code is available at https://github.com/shenao-zhang/reward-augmented-preference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google