Training Large Language Models for Reasoning through Reverse Curriculum Reinforcement Learning

要約

この論文では、大規模言語モデルのプロセス監視の利点を達成するために結果監視のみを採用する新しい方法である、R$^3$: 逆カリキュラム強化学習 (RL) による学習推論を提案します。
RL を複雑な推論に適用する際の中心的な課題は、プラスの報酬をもたらす一連のアクションを特定し、最適化のための適切な監視を提供することです。
結果の監視では、エラーの場所を特定することなく最終結果に対してまばらな報酬が提供されますが、プロセスの監視では段階的な報酬が提供されますが、大規模な手動の注釈が必要です。
R$^3$ は、正しいデモンストレーションから学習することで、これらの制限を克服します。
具体的には、R$^3$ は推論の開始状態をデモンストレーションの終わりから始まりまで段階的にスライドさせ、すべての段階でモデルの探索を容易にします。
したがって、R$^3$ は段階的なカリキュラムを確立し、結果の監督が段階レベルのシグナルを提供し、エラーを正確に特定できるようにします。
Llama2-7B を使用することで、私たちの方法は 8 つの推論タスクで RL ベースラインを平均 $4.1$ ポイント上回りました。
注目すべきことに、GSM8K のプログラムベースの推論では、3 つのバックボーン モデル全体でベースラインを $4.2$ ポイント上回っており、追加のデータがなければ、Codellama-7B + R$^3$ は、より大きなモデルやクローズドソース モデルと同等のパフォーマンスを発揮します。

要約(オリジナル)

In this paper, we propose R$^3$: Learning Reasoning through Reverse Curriculum Reinforcement Learning (RL), a novel method that employs only outcome supervision to achieve the benefits of process supervision for large language models. The core challenge in applying RL to complex reasoning is to identify a sequence of actions that result in positive rewards and provide appropriate supervision for optimization. Outcome supervision provides sparse rewards for final results without identifying error locations, whereas process supervision offers step-wise rewards but requires extensive manual annotation. R$^3$ overcomes these limitations by learning from correct demonstrations. Specifically, R$^3$ progressively slides the start state of reasoning from a demonstration’s end to its beginning, facilitating easier model exploration at all stages. Thus, R$^3$ establishes a step-wise curriculum, allowing outcome supervision to offer step-level signals and precisely pinpoint errors. Using Llama2-7B, our method surpasses RL baseline on eight reasoning tasks by $4.1$ points on average. Notebaly, in program-based reasoning on GSM8K, it exceeds the baseline by $4.2$ points across three backbone models, and without any extra data, Codellama-7B + R$^3$ performs comparable to larger models or closed-source models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google