Reward-Augmented Data Enhances Direct Preference Alignment of LLMs

要約

大規模言語モデル (LLM) における好みの調整により、人間の指示や意図に従う能力が大幅に向上しました。
ただし、既存の直接調整アルゴリズムは主に相対的な好みに焦点を当てており、応答の定性的側面が見落とされていることがよくあります。
選択された応答とわずかに劣る拒否された応答の間の暗黙の報酬ギャップを最大化しようと努めると、高品質の拒否された応答の過剰適合や不必要な未学習が発生する可能性があります。
また、報酬スコアを認識していないため、LLM は選択された低品質の応答を無差別に優先し、データがまばらな最高の報酬を持つ応答を一般化できなくなります。
これらの欠点を克服するために、私たちの研究では、データセット内の応答品質のスペクトル全体を識別して学習し、より最適な領域を推定するのに役立つ報酬条件付き LLM ポリシーを導入しています。
報酬拡張データセットを構築するために、品質スコアに基づいて嗜好ペアを条件付ける、効果的かつシンプルなデータの再ラベル付け方法を提案します。
このデータセットは、既存の直接アライメント アルゴリズムと簡単に統合でき、あらゆる好みのデータセットに適用できます。
AlpacaEval、MT-Bench、Arena-Hard-Auto などの命令に従うベンチマークにわたる実験結果は、私たちのアプローチがさまざまなモデルにわたって DPO のパフォーマンスを一貫して大幅に向上させることを示しています。
さらに、私たちの方法は、さまざまな学術ベンチマークの平均精度を向上させます。
私たちのメソッドをポリシー上のデータに適用すると、結果として得られる DPO モデルは AlpacaEval で SOTA の結果を達成します。
アブレーション研究を通じて、私たちの方法が嗜好データの有用性を最大化するだけでなく、未学習の問題も軽減することを実証し、単なるデータセットの拡張を超えた広範な有効性を実証します。
私たちのコードは https://github.com/shenao-zhang/reward-augmented-preference で入手できます。

要約(オリジナル)

Preference alignment in Large Language Models (LLMs) has significantly improved their ability to adhere to human instructions and intentions. However, existing direct alignment algorithms primarily focus on relative preferences and often overlook the qualitative aspects of responses. Striving to maximize the implicit reward gap between the chosen and the slightly inferior rejected responses can cause overfitting and unnecessary unlearning of the high-quality rejected responses. The unawareness of the reward scores also drives the LLM to indiscriminately favor the low-quality chosen responses and fail to generalize to responses with the highest rewards, which are sparse in data. To overcome these shortcomings, our study introduces reward-conditioned LLM policies that discern and learn from the entire spectrum of response quality within the dataset, helping extrapolate to more optimal regions. We propose an effective yet simple data relabeling method that conditions the preference pairs on quality scores to construct a reward-augmented dataset. This dataset is easily integrated with existing direct alignment algorithms and is applicable to any preference dataset. The experimental results across instruction-following benchmarks including AlpacaEval, MT-Bench, and Arena-Hard-Auto demonstrate that our approach consistently boosts the performance of DPO by a considerable margin across diverse models. Additionally, our method improves the average accuracy on various academic benchmarks. When applying our method to on-policy data, the resulting DPO model achieves SOTA results on AlpacaEval. Through ablation studies, we demonstrate that our method not only maximizes the utility of preference data but also mitigates the issue of unlearning, demonstrating its broad effectiveness beyond mere dataset expansion. Our code is available at https://github.com/shenao-zhang/reward-augmented-preference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google