RLHF Deciphered: A Critical Analysis of Reinforcement Learning from Human Feedback for LLMs

要約

最先端の大規模言語モデル (LLM) は、さまざまなタスクに不可欠なツールとなっています。
ただし、人間の効果的なアシスタントとして LLM を訓練するには、慎重な検討が必要です。
有望なアプローチは、人間のフィードバックからの強化学習 (RLHF) です。これは、人間のフィードバックを活用して、人間の好みに従ってモデルを更新し、毒性や幻覚などの問題を軽減します。
しかし、LLM の RLHF の理解は、この方法を普及させた最初の設計の選択と大きく絡み合っており、現在の研究はフレームワークを根本的に改善するよりも、それらの選択肢を強化することに重点を置いています。
この論文では、RLHF のコアコンポーネントである報酬モデルに重点を置き、強化学習原理のレンズを通して RLHF を分析してその基礎の理解を深めます。
私たちの研究では、モデリングの選択、関数近似の注意点、およびそれらが RLHF トレーニング アルゴリズムに与える影響を調査し、報酬の表現力についての基礎的な仮定に焦点を当てています。
私たちの分析により、報酬モデルの役割とそのトレーニング方法の理解が深まり、同時に現在の方法論の限界も明らかになりました。
私たちは、誤った一般化、モデルの仕様の誤り、フィードバックの希薄性など、これらの制限を、言語モデルのパフォーマンスへの影響とともに特徴付けます。
議論と分析は、現在の文献のカテゴリー別レビューによって実証されており、研究者や実践者が RLHF の課題を理解し、既存の取り組みを基礎とするための参考資料として役立ちます。

要約(オリジナル)

State-of-the-art large language models (LLMs) have become indispensable tools for various tasks. However, training LLMs to serve as effective assistants for humans requires careful consideration. A promising approach is reinforcement learning from human feedback (RLHF), which leverages human feedback to update the model in accordance with human preferences and mitigate issues like toxicity and hallucinations. Yet, an understanding of RLHF for LLMs is largely entangled with initial design choices that popularized the method and current research focuses on augmenting those choices rather than fundamentally improving the framework. In this paper, we analyze RLHF through the lens of reinforcement learning principles to develop an understanding of its fundamentals, dedicating substantial focus to the core component of RLHF — the reward model. Our study investigates modeling choices, caveats of function approximation, and their implications on RLHF training algorithms, highlighting the underlying assumptions made about the expressivity of reward. Our analysis improves the understanding of the role of reward models and methods for their training, concurrently revealing limitations of the current methodology. We characterize these limitations, including incorrect generalization, model misspecification, and the sparsity of feedback, along with their impact on the performance of a language model. The discussion and analysis are substantiated by a categorical review of current literature, serving as a reference for researchers and practitioners to understand the challenges of RLHF and build upon existing efforts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google