A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce

要約

強化学習（RL）は、複雑な推論タスクに関する大規模な言語モデル（LLMS）を微調整するための一般的なアプローチとなっています。
最近の方法の中で、GRPOはDeepSeek-R1などのトレーニングモデルでの経験的成功を際立たせていますが、その有効性のソースは依然としてよく理解されていません。
この作業では、補強様アルゴリズムの観点からGRPOを再訪し、そのコアコンポーネントを分析します。
驚くべきことに、私たちは、積極的に報われるサンプルのみで訓練する単純な拒絶サンプリングベースラインであるRaftが、GRPOやPPOよりも競争力のあるパフォーマンスをもたらすことがわかります。
私たちのアブレーション研究は、GRPOの主な利点が、報酬の正規化からではなく、完全に間違った応答を伴うプロンプトを破棄することから生じることを明らかにしています。
この洞察に動機付けられて、私たちは、完全に間違ったサンプルと完全に正しいサンプルの両方をろ過するポリシー勾配の最小限の拡張であるRenforce-Rejを提案します。
Renforce-REJはKLの効率と安定性を改善し、より複雑なRLアルゴリズムの軽量でありながら効果的な代替品として機能します。
RAFTを堅牢で解釈可能なベースラインとして提唱し、将来の進歩は、無差別に頼るのではなく、負のサンプルを組み込むためのより原則的なデザインに焦点を当てるべきであることを示唆しています。
私たちの調査結果は、報酬ベースのLLMポストトレーニングにおける将来の作業のガイダンスを提供します。

要約(オリジナル)

Reinforcement learning (RL) has become a prevailing approach for fine-tuning large language models (LLMs) on complex reasoning tasks. Among recent methods, GRPO stands out for its empirical success in training models such as DeepSeek-R1, yet the sources of its effectiveness remain poorly understood. In this work, we revisit GRPO from a reinforce-like algorithm perspective and analyze its core components. Surprisingly, we find that a simple rejection sampling baseline, RAFT, which trains only on positively rewarded samples, yields competitive performance than GRPO and PPO. Our ablation studies reveal that GRPO’s main advantage arises from discarding prompts with entirely incorrect responses, rather than from its reward normalization. Motivated by this insight, we propose Reinforce-Rej, a minimal extension of policy gradient that filters both entirely incorrect and entirely correct samples. Reinforce-Rej improves KL efficiency and stability, serving as a lightweight yet effective alternative to more complex RL algorithms. We advocate RAFT as a robust and interpretable baseline, and suggest that future advances should focus on more principled designs for incorporating negative samples, rather than relying on them indiscriminately. Our findings provide guidance for future work in reward-based LLM post-training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google