Kwai-STaR: Transform LLMs into State-Transition Reasoners

要約

数学的推論は、LLM の認知能力に重大な課題をもたらします。
LLM の数学的能力を強化するために、さまざまな方法が提案されています。
しかし、LLM 推論における状態遷移の価値を認識している人はほとんどいません。
この研究では、数学的問題解決を初期の未解決状態から最終的な解決済み状態に遷移するプロセスとして定義し、LLM を状態遷移推論器に変換して直観的な推論能力を向上させる Kwai-STaR フレームワークを提案します。
私たちのアプローチは 3 つの主要なステップで構成されます。 (1) 数学的推論に合わせて調整された状態空間を定義します。
（２）状態空間に基づいて状態遷移データを生成する。
(3) カリキュラム トレーニング戦略を通じて、元の LLM を状態遷移推論器に変換します。
私たちの実験では、数学的推論の強化における Kwai-STaR の有効性が検証されています。小規模な Kwai-STaR データセットでトレーニングした後、Mistral-7B や LLaMA-3 を含む一般的な LLM は、GSM8K および GSM-Hard データセットで大幅なパフォーマンス向上を達成します。
。
さらに、状態遷移ベースの設計により、Kwai-STaR はトレーニングと推論の優れた効率を実現します。
Kwai-STaR の一般性を確立するために、さらなる実験が進行中です。

要約(オリジナル)

Mathematical reasoning presents a significant challenge to the cognitive capabilities of LLMs. Various methods have been proposed to enhance the mathematical ability of LLMs. However, few recognize the value of state transition for LLM reasoning. In this work, we define mathematical problem-solving as a process of transiting from an initial unsolved state to the final resolved state, and propose Kwai-STaR framework, which transforms LLMs into State-Transition Reasoners to improve their intuitive reasoning capabilities. Our approach comprises three main steps: (1) Define the state space tailored to the mathematical reasoning. (2) Generate state-transition data based on the state space. (3) Convert original LLMs into State-Transition Reasoners via a curricular training strategy. Our experiments validate the effectiveness of Kwai-STaR in enhancing mathematical reasoning: After training on the small-scale Kwai-STaR dataset, general LLMs, including Mistral-7B and LLaMA-3, achieve considerable performance gain on the GSM8K and GSM-Hard dataset. Additionally, the state transition-based design endows Kwai-STaR with remarkable training and inference efficiency. Further experiments are underway to establish the generality of Kwai-STaR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google