Self-Explore to Avoid the Pit: Improving the Reasoning Capabilities of Language Models with Fine-grained Rewards

要約

大量の理論的根拠に関するトレーニング (つまり、CoT 微調整) は、大規模言語モデル (LLM) の推論能力を向上させるのに効果的です。
ただし、人間が作成した理論的根拠を取得したり、独自のモデルから理論的根拠を強化したりするにはコストがかかり、拡張性がありません。
この論文では、LLM が推論能力を自己改善できるかどうかという問題を研究します。
この目的を達成するために、私たちは自己探索を提案します。LLM は、論理的根拠内の最初の間違ったステップ (つまり、最初の穴) を探索し、そのようなシグナルをさらなる改善のためのきめ細かい報酬として使用するという任務を負っています。
GSM8K および MATH テスト セットでは、Self-Explore は、教師あり微調整 (SFT) と比較して、3 つの LLM 全体で平均 11.57% および 2.89% の改善を達成しました。
私たちのコードは https://github.com/hbin0701/Self-Explore で入手できます。

要約(オリジナル)

Training on large amounts of rationales (i.e., CoT Fine-tuning) is effective at improving the reasoning capabilities of large language models (LLMs). However, acquiring human-authored rationales or augmenting rationales from proprietary models is costly and not scalable. In this paper, we study the problem of whether LLMs could self-improve their reasoning capabilities. To this end, we propose Self-Explore, where the LLM is tasked to explore the first wrong step (i.e., the first pit) within the rationale and use such signals as fine-grained rewards for further improvement. On the GSM8K and MATH test set, Self-Explore achieves 11.57% and 2.89% improvement on average across three LLMs compared to supervised fine-tuning (SFT). Our code is available at https://github.com/hbin0701/Self-Explore.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google