Statistical Rejection Sampling Improves Preference Optimization

要約

言語モデルを人間の好みに合わせて改善することは、依然として活発な研究課題です。
これまでのアプローチでは、主に近接ポリシー最適化 (PPO) などのオンライン RL 手法を介したヒューマン フィードバックからの強化学習 (RLHF) が利用されてきました。
最近、シーケンス尤度キャリブレーション (SLiC) や直接優先最適化 (DPO) などのオフライン手法が魅力的な代替手段として台頭しており、競争力のあるパフォーマンスを維持しながら安定性とスケーラビリティを向上させます。
SLiC は、教師あり微調整 (SFT) ポリシーからサンプリングされたシーケンス ペアを使用して損失関数を改良します。一方、DPO は、選好データに基づいて言語モデルを直接最適化し、別個の報酬モデルを必要としません。
ただし、ターゲット最適ポリシーの最尤推定器 (MLE) には、そのポリシーからサンプリングされたラベル付きプリファレンス ペアが必要です。
DPO には報酬モデルがないため、最適なポリシーからプリファレンス ペアをサンプリングする機能が制限され、SLiC は SFT ポリシーからのみプリファレンス ペアをサンプリングすることに制限されています。
これらの制限に対処するために、統計的拒否サンプリング最適化 (RSO) と呼ばれる新しいアプローチを導入します。これは、拒否サンプリングを使用してターゲットの最適なポリシーから嗜好データを取得し、最適なポリシーのより正確な推定を可能にすることを目的としています。
また、プリファレンスモデリングの観点から、SLiC と DPO の両方で使用される損失関数を強化する統一フレームワークも提案します。
3 つの多様なタスクにわたる広範な実験を通じて、大規模言語モデル (LLM) と人間の評価者の両方からの評価において、RSO が SLiC と DPO の両方よりも一貫して優れていることを実証しました。

要約(オリジナル)

Improving the alignment of language models with human preferences remains an active research challenge. Previous approaches have primarily utilized Reinforcement Learning from Human Feedback (RLHF) via online RL methods such as Proximal Policy Optimization (PPO). Recently, offline methods such as Sequence Likelihood Calibration (SLiC) and Direct Preference Optimization (DPO) have emerged as attractive alternatives, offering improvements in stability and scalability while maintaining competitive performance. SLiC refines its loss function using sequence pairs sampled from a supervised fine-tuned (SFT) policy, while DPO directly optimizes language models based on preference data, foregoing the need for a separate reward model. However, the maximum likelihood estimator (MLE) of the target optimal policy requires labeled preference pairs sampled from that policy. DPO’s lack of a reward model constrains its ability to sample preference pairs from the optimal policy, and SLiC is restricted to sampling preference pairs only from the SFT policy. To address these limitations, we introduce a novel approach called Statistical Rejection Sampling Optimization (RSO) that aims to source preference data from the target optimal policy using rejection sampling, enabling a more accurate estimation of the optimal policy. We also propose a unified framework that enhances the loss functions used in both SLiC and DPO from a preference modeling standpoint. Through extensive experiments across three diverse tasks, we demonstrate that RSO consistently outperforms both SLiC and DPO on evaluations from both Large Language Model (LLM) and human raters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google