Robust Preference Optimization through Reward Model Distillation

要約

言語モデル（LM）のポストトレーニング（またはアライメント）には、嗜好アノテーションから得られる報酬関数を最大化することが含まれる。直接プリファレンス最適化(DPO)は、報酬モデルの訓練や強化学習を適用することなく、嗜好データから直接ポリシーを訓練する、よく使われるオフラインアライメント手法である。しかし、経験的な証拠から、DPOは一般的にオーバーフィットする暗黙の報酬を割り当て、無限大になる傾向があることが示唆されている。これはしばしば退化した政策につながり、時には好ましい世代の確率さえもゼロになってしまう。この研究では、この現象を分析し、世代ペアに対する真の嗜好分布のより良い代理を得るために蒸留を用いる：我々は、その誘導された暗黙的報酬、すなわち、参照モデルに対するモデルの対数尤度比をスケーリングしたものが、嗜好データで訓練された明示的報酬モデルと一致するように、LMを訓練する。さらに、ディスティリング元の報酬モデルの不確実性を考慮するため、全体として嗜好分布の少なくとも1つの妥当な代理を含む可能性の高い報酬モデル群に対して最適化を行う。我々の結果は、このような報酬モデル群から抽出することで、DPOの単純な教師ありの性質を維持しつつ、嗜好注釈の分布シフトに対する頑健性が向上することを示している。

要約(オリジナル)

Language model (LM) post-training (or alignment) involves maximizing a reward function that is derived from preference annotations. Direct Preference Optimization (DPO) is a popular offline alignment method that trains a policy directly on preference data without the need to train a reward model or apply reinforcement learning. However, the empirical evidence suggests that DPO typically assigns implicit rewards that overfit, and trend towards infinite magnitude. This frequently leads to degenerate policies, sometimes causing even the probabilities of the preferred generations to go to zero. In this work, we analyze this phenomenon and use distillation to get a better proxy for the true preference distribution over generation pairs: we train the LM such that its induced implicit reward, i.e., the scaled log-likelihood ratio of the model to the reference model, matches an explicit reward model trained on the preference data. Moreover, to account for uncertainty in the reward model we are distilling from, we optimize against a family of reward models that, as a whole, is likely to include at least one reasonable proxy for the preference distribution. Our results show that distilling from such a family of reward models leads to improved robustness to distribution shift in preference annotations, while preserving the simple supervised nature of DPO.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL