Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?

要約

検証可能な報酬（RLVR）による強化学習は最近、特に数学やプログラミングタスクにおいてLLMの推論能力を高めることに顕著な成功を実証しました。
RLVRにより、LLMが継続的に自己改善できるようになり、対応するベースモデルの容量を超える新しい推論能力を獲得できると広く信じられています。
ただし、この研究では、\ textIT {k}の大きな値でpass@\ textit {k}メトリックを測定して、幅広いモデルファミリとベンチマークにわたるモデルの推論能力境界を調査することにより、この仮定を批判的に再検討します。
驚くべきことに、RLは\ empond {not}を実行します。実際、根本的に新しい推論パターンを引き出します。
RLトレーニングモデルは、$ k $（\ eg、$ k $ = 1）の小さい値でベースモデルよりも優れていますが、ベースモデルは、$ k $値の大規模な$ k $値のrlの対応物と比較して、同等またはそれ以上のパス@$ k $スコアを達成できます。
RLトレーニングモデルによって生成された推論パスは、基本モデルのサンプリング分布にすでに含まれており、RLトレーニングモデルに現れるほとんどの推論能力が基本モデルによってすでに取得されていることを示唆しています。
さらなる分析により、RLトレーニングは、報酬をもたらす可能性が高いパスにモデルの出力分布をバイアスすることにより、パフォーマンスを向上させるため、正しい応答をより効率的にサンプリングすることが示されています。
しかし、これにより、ベースモデルと比較して、より狭い推論能力境界がもたらされます。
RLVRでトレーニングされた視覚的推論タスクでも同様の結果が観察されます。
さらに、蒸留により、RLVRとは異なるモデルに新しい知識を真に導入できることがわかります。
これらの調査結果は、LLMの推論能力を進める際のRLVRの重要な制限を強調しているため、LLMSの推論におけるRLトレーニングの影響とより良いパラダイムの必要性を根本的に再考する必要があります。
プロジェクトページ：https：//limit-of-rlvr.github.io

要約(オリジナル)

Reinforcement Learning with Verifiable Rewards (RLVR) has recently demonstrated notable success in enhancing the reasoning capabilities of LLMs, particularly in mathematics and programming tasks. It is widely believed that RLVR enables LLMs to continuously self-improve, thus acquiring novel reasoning abilities that exceed corresponding base models’ capacity. In this study, however, we critically re-examines this assumption by measuring the pass@\textit{k} metric with large values of \textit{k} to explore the reasoning capability boundary of the models across a wide range of model families and benchmarks. Surprisingly, the RL does \emph{not}, in fact, elicit fundamentally new reasoning patterns. While RL-trained models outperform their base models at smaller values of $k$ (\eg, $k$=1), base models can achieve a comparable or even higher pass@$k$ score compared to their RL counterparts at large $k$ values. The reasoning paths generated by RL-trained models are already included in the base models’ sampling distribution, suggesting that most reasoning abilities manifested in RL-trained models are already obtained by base models. Further analysis shows that RL training boosts the performance by biasing the model’s output distribution toward paths that are more likely to yield rewards, therefore sampling correct responses more efficiently. But this also results in a narrower reasoning capability boundary compared to base models. Similar results are observed in visual reasoning tasks trained with RLVR. Moreover, we find that distillation can genuinely introduce new knowledge into the model, different from RLVR. These findings underscore a critical limitation of RLVR in advancing LLM reasoning abilities which requires us to fundamentally rethink the impact of RL training in reasoning LLMs and the need of a better paradigm. Project Page: https://limit-of-RLVR.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google