Regularized Best-of-N Sampling with Minimum Bayes Risk Objective for Language Model Alignment

要約

報酬モデルを使用したBest-of-n（bon）サンプリングは、デコード時に大きな言語モデル（LLM）を人間の好みに合わせるための効果的な戦略であることが示されています。
Bonサンプリングは、優先データセットの品質または量のために報酬モデルの精度が十分に高くない場合、報酬ハッキングとして知られる問題の影響を受けやすくなります。
報酬モデルは真の目的のための不完全なプロキシであるため、その価値を過度に最適化することで、真の目的でそのパフォーマンスを損なう可能性があります。
この研究では、最低ベイズリスク（MBR）目的を近接正規化項として組み込むことにより、推論時間に報酬のハッキングを軽減することを目的とするBonの変形であるMBR-Bonを提案します。
MBRの対物レンズが、参照ポリシーへの応答の近接性を定量化し、近接正規者として機能することを経験的および分析的に示します。
AlpacafarmおよびAnthropicのHH-RLHFデータセットでMBR-Bonを評価し、BonサンプリングとMBRデコードの両方を上回ることを示しています。
また、MBR-BONを評価して、直接優先最適化（DPO）のペアワイズ優先学習データセットを生成します。
経験的な結果は、MBR-Bonで生成されたデータセットで訓練されたモデルがバニラボンを使用しているモデルよりも優れていることを示しています。
私たちのコードは、https：//github.com/cyberagentailab/relumentized-bonで入手できます

要約(オリジナル)

Best-of-N (BoN) sampling with a reward model has been shown to be an effective strategy for aligning Large Language Models (LLMs) to human preferences at the time of decoding. BoN sampling is susceptible to a problem known as reward hacking when the accuracy of the reward model is not high enough due to the quality or the quantity of the preference dataset. Because the reward model is an imperfect proxy for the true objective, over-optimizing its value can compromise its performance on the true objective. In this research, we propose MBR-BoN, a variant of BoN that aims to mitigate reward hacking at inference time by incorporating the Minimum Bayes Risk (MBR) objective as a proximity regularization term. We show empirically and analytically that the MBR objective quantifies the proximity of the response to the reference policy, serving as a proximity regularizer. We evaluate MBR-BoN on the AlpacaFarm and Anthropic’s hh-rlhf datasets and show that it outperforms both BoN sampling and MBR decoding. We also evaluate MBR-BoN to generate a pairwise preference learning dataset for Direct Preference Optimization (DPO). Empirical results show that models trained on a dataset generated with MBR-BoN outperform those with vanilla BoN. Our code is available at https://github.com/CyberAgentAILab/regularized-bon

arxiv情報

提供元, 利用サービス

arxiv.jp, Google