REBEL: Reinforcement Learning via Regressing Relative Rewards

要約

近接ポリシー最適化 (PPO) は、もともと連続制御問題のために開発されましたが、生成モデルの微調整など、さまざまな強化学習 (RL) アプリケーションの主力として登場しました。
残念ながら、PPO は安定した収束を可能にするために複数のヒューリスティック (値ネットワーク、クリッピングなど) を必要とし、これらのコンポーネントの正確な実装に対する感度が低いことで知られています。
これに応えて、私たちは一歩下がって、生成モデルの時代のミニマリスト RL アルゴリズムがどのようなものになるかを尋ねます。
私たちは、ポリシーの最適化の問題を、2 つの完了の間の相対的な報酬をポリシーに関するプロンプトに回帰するというものに明確に削減し、驚くほど軽量な実装を可能にするアルゴリズム、REBEL を提案します。
理論的には、Natural Policy Gradient のような基本的な RL アルゴリズムは REBEL のバリアントと見なすことができることを証明します。これにより、RL 文献の収束とサンプルの複雑さの点で最も強力な既知の理論的保証と一致することができます。
REBEL は、オフライン データをきれいに組み込むこともでき、実際に頻繁に見られる自動詞設定を処理できるように拡張することもできます。
経験的に、REBEL は、PPO や DPO よりも実装が簡単で計算効率が高く、PPO や DPO と同等または同等のパフォーマンスを備えた言語モデリングとイメージ生成への統合アプローチを提供することがわかりました。
Llama-3-8B-Instruct を微調整すると、REBEL は AlpacaEval 2.0、MT-Bench、Open LLM Leaderboard で優れたパフォーマンスを達成します。

要約(オリジナル)

While originally developed for continuous control problems, Proximal Policy Optimization (PPO) has emerged as the work-horse of a variety of reinforcement learning (RL) applications, including the fine-tuning of generative models. Unfortunately, PPO requires multiple heuristics to enable stable convergence (e.g. value networks, clipping), and is notorious for its sensitivity to the precise implementation of these components. In response, we take a step back and ask what a minimalist RL algorithm for the era of generative models would look like. We propose REBEL, an algorithm that cleanly reduces the problem of policy optimization to regressing the relative reward between two completions to a prompt in terms of the policy, enabling strikingly lightweight implementation. In theory, we prove that fundamental RL algorithms like Natural Policy Gradient can be seen as variants of REBEL, which allows us to match the strongest known theoretical guarantees in terms of convergence and sample complexity in the RL literature. REBEL can also cleanly incorporate offline data and be extended to handle the intransitive preferences we frequently see in practice. Empirically, we find that REBEL provides a unified approach to language modeling and image generation with stronger or similar performance as PPO and DPO, all while being simpler to implement and more computationally efficient than PPO. When fine-tuning Llama-3-8B-Instruct, REBEL achieves strong performance in AlpacaEval 2.0, MT-Bench, and Open LLM Leaderboard.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google