Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search

要約

大規模言語モデル(LLM)は、様々な領域で顕著な推論能力を示してきた。最近の研究では、テスト時間の計算量を増やすことで、LLMの推論能力が向上することが示されている。これには通常、外部のLLM検証者に導かれた推論時間での広範なサンプリングが含まれ、その結果、2人プレイのシステムになる。外部からの誘導にもかかわらず、このシステムの有効性は、単一のLLMが複雑なタスクに取り組む可能性を示している。したがって、我々は新たな研究課題を提起する。それは、探索能力を内面化し、単一のLLMの推論能力を根本的に向上させることができるか、ということである。本研究では、自己回帰的な探索（すなわち、自己反省と新しい戦略の自己探索を伴う拡張推論プロセス）のための事後トレーニングLLMに焦点を当てた直交的な方向性を探求する。これを達成するために、我々は行動連鎖思考(COAT)推論と、2段階の訓練パラダイムを提案する：1) COAT推論形式を内面化するための小規模な形式調整段階と、2) 強化学習を活用した大規模な自己改善段階。我々のアプローチは、オープンソースのモデルとデータで訓練された7BのLLMであるSatoriに結実する。広範な実証評価により、Satoriは数学的推論ベンチマークにおいて最先端の性能を達成する一方、領域外のタスクに対しても強力な汎化を示すことが実証されている。コード、データ、モデルは完全にオープンソース化されます。

要約(オリジナル)

Large language models (LLMs) have demonstrated remarkable reasoning capabilities across diverse domains. Recent studies have shown that increasing test-time computation enhances LLMs’ reasoning capabilities. This typically involves extensive sampling at inference time guided by an external LLM verifier, resulting in a two-player system. Despite external guidance, the effectiveness of this system demonstrates the potential of a single LLM to tackle complex tasks. Thus, we pose a new research problem: Can we internalize the searching capabilities to fundamentally enhance the reasoning abilities of a single LLM? This work explores an orthogonal direction focusing on post-training LLMs for autoregressive searching (i.e., an extended reasoning process with self-reflection and self-exploration of new strategies). To achieve this, we propose the Chain-of-Action-Thought (COAT) reasoning and a two-stage training paradigm: 1) a small-scale format tuning stage to internalize the COAT reasoning format and 2) a large-scale self-improvement stage leveraging reinforcement learning. Our approach results in Satori, a 7B LLM trained on open-source models and data. Extensive empirical evaluations demonstrate that Satori achieves state-of-the-art performance on mathematical reasoning benchmarks while exhibits strong generalization to out-of-domain tasks. Code, data, and models will be fully open-sourced.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL