Robust Preference Optimization through Reward Model Distillation

要約

言語モデル (LM) のポストトレーニング (またはアライメント) には、好みのアノテーションから得られる報酬関数の最大化が含まれます。
Direct Preference Optimization (DPO) は、報酬モデルのトレーニングや強化学習の適用を必要とせずに、プリファレンス データに基づいてポリシーを直接トレーニングする、一般的なオフライン調整方法です。
ただし、一般的な嗜好データセットには、嗜好ペアごとに 1 つ、またはせいぜい数個のアノテーションしか含まれていないため、DPO は無限大に向かう傾向にある報酬を過信して割り当てます。
これはポリシーの退化につながることが多く、場合によっては優先世代の確率さえゼロになることがあります。
この研究では、この現象を分析し、世代ペアにわたる真の選好分布のより適切な代用を取得するための蒸留を提案します。選好データでトレーニングされた報酬モデルによって引き起こされる分布と一致する確率を生成するように LM をトレーニングします。
さらに、抽出元の報酬モデルの不確実性を考慮して、全体として、選好分布の合理的な代理が少なくとも 1 つ含まれる可能性が高い一連の報酬モデルに対して最適化します。
私たちの結果は、このような報酬モデルのファミリーから抽出することで、DPO の単純な教師ありの性質を維持しながら、選好アノテーションの分布シフトに対する堅牢性の向上につながることを示しています。

要約(オリジナル)

Language model (LM) post-training (or alignment) involves maximizing a reward function that is derived from preference annotations. Direct Preference Optimization (DPO) is a popular offline alignment method that trains a policy directly on preference data without the need to train a reward model or apply reinforcement learning. However, typical preference datasets have only a single, or at most a few, annotation per preference pair, which causes DPO to overconfidently assign rewards that trend towards infinite magnitude. This frequently leads to degenerate policies, sometimes causing even the probabilities of the preferred generations to go to zero. In this work, we analyze this phenomenon and propose distillation to get a better proxy for the true preference distribution over generation pairs: we train the LM to produce probabilities that match the distribution induced by a reward model trained on the preference data. Moreover, to account for uncertainty in the reward model we are distilling from, we optimize against a family of reward models that, as a whole, is likely to include at least one reasonable proxy for the preference distribution. Our results show that distilling from such a family of reward models leads to improved robustness to distribution shift in preference annotations, while preserving the simple supervised nature of DPO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google