TinyV: Reducing False Negatives in Verification Improves RL for LLM Reasoning

要約

Rehnection Learning（RL）は、報酬信号でポリシーを最適化することにより、大規模な言語モデル（LLMS）の推論能力を高めるための強力なツールとなっています。
しかし、RLの成功は、Verifiersによって提供される報酬の信頼性に依存しています。
このホワイトペーパーでは、広範囲の問題（False Negatives）を公開および分析し、検証者が正しいモデルの出力を誤って拒否します。
Big-Math-RL Verified Datasetの詳細な研究では、モデル生成された応答の38％以上が誤検知に苦しんでおり、検証剤が正解を認識できないことが明らかになりました。
経験的にも理論的にも、これらの偽陰性は、有益な勾配シグナルのモデルを奪い、収束を遅らせることにより、RLトレーニングを深刻に損なうことを示しています。
これを緩和するために、既存のルールベースの方法を強化する軽量LLMベースの検証剤であるTinyVを提案します。これは、潜在的な偽陰性を動的に識別し、より正確な報酬推定値を生成するために有効な応答を回復します。
複数の数学の季節のベンチマークにわたって、TinyVブーストを統合すると、パスレートが最大10％統合され、ベースラインと比較して収束が加速します。
私たちの調査結果は、検証剤の偽陰性に対処することの重要な重要性を強調し、RLベースのLLMSの微調整を改善するための実用的なアプローチを提供します。
私たちのコードは、https：//github.com/uw-nsl/tinyvで入手できます。

要約(オリジナル)

Reinforcement Learning (RL) has become a powerful tool for enhancing the reasoning abilities of large language models (LLMs) by optimizing their policies with reward signals. Yet, RL’s success relies on the reliability of rewards, which are provided by verifiers. In this paper, we expose and analyze a widespread problem–false negatives–where verifiers wrongly reject correct model outputs. Our in-depth study of the Big-Math-RL-Verified dataset reveals that over 38% of model-generated responses suffer from false negatives, where the verifier fails to recognize correct answers. We show, both empirically and theoretically, that these false negatives severely impair RL training by depriving the model of informative gradient signals and slowing convergence. To mitigate this, we propose tinyV, a lightweight LLM-based verifier that augments existing rule-based methods, which dynamically identifies potential false negatives and recovers valid responses to produce more accurate reward estimates. Across multiple math-reasoning benchmarks, integrating TinyV boosts pass rates by up to 10% and accelerates convergence relative to the baseline. Our findings highlight the critical importance of addressing verifier false negatives and offer a practical approach to improve RL-based fine-tuning of LLMs. Our code is available at https://github.com/uw-nsl/TinyV.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google