Can RLHF be More Efficient with Imperfect Reward Models? A Policy Coverage Perspective

要約

サンプルの効率は、人間のフィードバック（RLHF）からのオンライン強化学習にとって重要です。
既存の作品は、サンプル効率の良いオンライン探査戦略を調査していますが、学習を加速するために誤解されているが関連する報酬モデルを利用する可能性は未定です。
このペーパーでは、オンラインRLHFの不完全な報酬モデルから知識を転送する方法について説明します。
まず、KL正規化されたRLHFの目的の新しい特性を特定することから始めます。
この洞察に基づいて、標準的なオンライン学習と比較して、目立つ利点を持つ新しい転送学習原則と理論的アルゴリズムを提案します。
私たちのアプローチは、品質の事前知識なしに利用可能な最良のソース報酬モデルに迅速に適応することにより、初期段階で低い後悔を達成し、$ \ tilde {o}（\ sqrt {t}）$後悔のバウンド\ emphing}を達成します。
経験的に、当社の理論的調査結果に触発されて、計算効率が向上した勝利ベースの転送ポリシー選択方法を開発します。
さらに、経験的転送学習手法はモジュール式であり、DPO、IPO、XPOなどのさまざまなポリシー最適化方法と統合して、パフォーマンスをさらに向上させることができます。
要約タスクに関する実験を通じて、方法の有効性を検証します。

要約(オリジナル)

Sample efficiency is critical for online Reinforcement Learning from Human Feedback (RLHF). While existing works investigate sample-efficient online exploration strategies, the potential of utilizing misspecified yet relevant reward models to accelerate learning remains underexplored. This paper studies how to transfer knowledge from those imperfect reward models in online RLHF. We start by identifying a novel property of the KL-regularized RLHF objective: \emph{a policy’s coverability of the optimal policy is captured by its sub-optimality}. Building on this insight, we propose novel transfer learning principles and a theoretical algorithm with provable benefits compared to standard online learning. Our approach achieves low regret in the early stage by quickly adapting to the best available source reward models without prior knowledge of their quality, and over time, it attains an $\tilde{O}(\sqrt{T})$ regret bound \emph{independent} of structural complexity measures. Empirically, inspired by our theoretical findings, we develop a win-rate-based transfer policy selection method with improved computational efficiency. Moreover, our empirical transfer learning technique is modular and can be integrated with various policy optimization methods, such as DPO, IPO and XPO, to further enhance their performance. We validate the effectiveness of our method through experiments on summarization tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google