A General Theoretical Paradigm to Understand Learning from Human Preferences

要約

強化学習による人間の好みからの学習 (RLHF) の一般的な展開は、2 つの重要な近似に依存しています。1 つ目は、ペアごとの好みをポイントごとの報酬で置き換えることができると仮定しています。
2 つ目は、これらのポイントごとの報酬に基づいてトレーニングされた報酬モデルが、収集されたデータからポリシーによってサンプリングされた分布外データまで一般化できることを前提としています。
最近、二次近似をバイパスし、報酬モデリング段階を経ずに収集されたデータからポリシーを直接学習するアプローチとして、直接優先最適化 (DPO) が提案されています。
ただし、この方法は依然として一次近似に大きく依存しています。
この論文では、これらの実践的なアルゴリズムについて理論的により深く理解することを試みます。
特に、人間の好みから学習するための $\Psi$PO と呼ばれる新しい一般目標を導き出します。これはペアごとの好みの観点から表現され、したがって両方の近似をバイパスします。
この新しい一般目標により、RLHF と DPO の動作 ($\Psi$PO の特殊なケースとして) の詳細な分析を実行し、それらの潜在的な落とし穴を特定することができます。
次に、$\Psi$ を単純に Identity に設定することで、$\Psi$PO の別の特殊なケースを検討します。これにより、効率的な最適化手順を導き出し、パフォーマンスの保証を証明し、いくつかの例で DPO に対する経験的な優位性を実証できます。

要約(オリジナル)

The prevalent deployment of learning from human preferences through reinforcement learning (RLHF) relies on two important approximations: the first assumes that pairwise preferences can be substituted with pointwise rewards. The second assumes that a reward model trained on these pointwise rewards can generalize from collected data to out-of-distribution data sampled by the policy. Recently, Direct Preference Optimisation (DPO) has been proposed as an approach that bypasses the second approximation and learn directly a policy from collected data without the reward modelling stage. However, this method still heavily relies on the first approximation. In this paper we try to gain a deeper theoretical understanding of these practical algorithms. In particular we derive a new general objective called $\Psi$PO for learning from human preferences that is expressed in terms of pairwise preferences and therefore bypasses both approximations. This new general objective allows us to perform an in-depth analysis of the behavior of RLHF and DPO (as special cases of $\Psi$PO) and to identify their potential pitfalls. We then consider another special case for $\Psi$PO by setting $\Psi$ simply to Identity, for which we can derive an efficient optimisation procedure, prove performance guarantees and demonstrate its empirical superiority to DPO on some illustrative examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google