RM-R1: Reward Modeling as Reasoning

要約

報酬モデリングは、特に人間のフィードバック（RLHF）からの強化学習を通じて、大規模な言語モデル（LLM）を人間の好みに合わせるために不可欠です。
正確な報酬信号を提供するために、報酬モデル（RM）は、スコアまたは判断を割り当てる前に、深い思考を刺激し、解釈可能な推論を行う必要があります。
ただし、既存のRMSは不透明なスカラースコアを生成するか、好みの回答の予測を直接生成し、自然言語の批評を統合するのに苦労し、解釈可能性が欠けています。
推論集約型のタスクに関する長いチェーン（COT）の最近の進歩に触発された私たちは、推論機能を報酬モデリングに統合することにより、RMの解釈可能性とパフォーマンスが大幅に向上することを仮定し、検証します。
この作業では、新しいクラスの生成報酬モデル（推論報酬モデル（REARRM））を紹介します。
推論指向のトレーニングパイプラインを提案し、RM-R1の家族を訓練します。
トレーニングは、2つの重要な段階で構成されています。（1）高品質の推論チェーンの蒸留と（2）検証可能な報酬による補強学習。
RM-R1は、自己生成の推論トレースまたはチャット固有のルーブリックを自己生成し、それらに対する候補の反応を評価することにより、LLMロールアウトを改善します。
経験的には、私たちのモデルは、複数の包括的な報酬モデルベンチマークにわたって生成RMSの最先端または最先端のパフォーマンスを達成し、はるかに大きなオープンウェイトモデル（llama3.1-405bなど）および独自のモデル（GPT-4oなど）を13.8％上回ります。
最終的なパフォーマンスを超えて、徹底的な経験的分析を実施して、成功したREARRMトレーニングの重要な要素を理解しています。
将来の研究を促進するために、https://github.com/rm-r1-uiuc/rm-r1でコードとデータとともに6つのREARRMモデルをリリースします。

要約(オリジナル)

Reward modeling is essential for aligning large language models (LLMs) with human preferences, especially through reinforcement learning from human feedback (RLHF). To provide accurate reward signals, a reward model (RM) should stimulate deep thinking and conduct interpretable reasoning before assigning a score or a judgment. However, existing RMs either produce opaque scalar scores or directly generate the prediction of a preferred answer, making them struggle to integrate natural language critiques, thus lacking interpretability. Inspired by recent advances of long chain-of-thought (CoT) on reasoning-intensive tasks, we hypothesize and validate that integrating reasoning capabilities into reward modeling significantly enhances RM’s interpretability and performance. In this work, we introduce a new class of generative reward models — Reasoning Reward Models (ReasRMs) — which formulate reward modeling as a reasoning task. We propose a reasoning-oriented training pipeline and train a family of ReasRMs, RM-R1. The training consists of two key stages: (1) distillation of high-quality reasoning chains and (2) reinforcement learning with verifiable rewards. RM-R1 improves LLM rollouts by self-generating reasoning traces or chat-specific rubrics and evaluating candidate responses against them. Empirically, our models achieve state-of-the-art or near state-of-the-art performance of generative RMs across multiple comprehensive reward model benchmarks, outperforming much larger open-weight models (e.g., Llama3.1-405B) and proprietary ones (e.g., GPT-4o) by up to 13.8%. Beyond final performance, we perform thorough empirical analysis to understand the key ingredients of successful ReasRM training. To facilitate future research, we release six ReasRM models along with code and data at https://github.com/RM-R1-UIUC/RM-R1.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google