Unveiling the Mechanisms of Explicit CoT Training: How CoT Enhances Reasoning Generalization

要約

大規模な言語モデル（LLMS）のトレーニングへの明示的なチェーン（COT）の推論の統合は、推論能力を進めていますが、COTが一般化を強化するメカニズムは、よく理解されていないままです。
この作業は、（1）\ TextIT {How} COTトレーニングの内部モデルの表現を再構築し、（2）\ TextIT {なぜ}分散型（ID）と分散除外（OOD）の両方の推論一般化の両方を改善します。
制御された実験と理論分析を通じて、次の重要な洞察を導き出します。
\ textBf {1）}構造的利点：COTトレーニングは、推論を2段階の一般化回路に内面化します。ここで、段階の数はトレーニング中の明示的な推論ステップに対応します。
特に、COTトレーニングモデルは、非COTの対応物と比較して浅い層で中間結果を解決し、その後の推論ステップに特化するためにより深い層を解放します。
\ textBf {2）}理論分析：分布の発散を介した情報理論の一般化境界は、IDおよびOODコンポーネントに分解できます。
COTに関係なくIDエラーは十分なトレーニングで減少しますが、OODエラーはCOTに大きく依存します。非COTトレーニングは目に見えない推論パターンのためにSAMPLESに一般化できませんが、COTトレーニングは、トレーニング中にサブタスクと推論構成をマスターすることにより、ほぼ完璧なOOD一般化を達成します。
特定されたメカニズムは、実験結果を説明しています。COTトレーニングは収束を加速し、IDからIDとOODの両方のシナリオに一般化を強化し、許容可能なノイズでも堅牢なパフォーマンスを維持します。
これらの調査結果は、複雑な現実世界のデータセットでさらに検証されています。
このペーパーでは、LLMの推論を強化するためのCOT戦略を設計するための貴重な洞察を提供します。

要約(オリジナル)

The integration of explicit Chain-of-Thought (CoT) reasoning into training large language models (LLMs) has advanced their reasoning capabilities, yet the mechanisms by which CoT enhances generalization remain poorly understood. This work investigates (1) \textit{how} CoT training reshapes internal model representations and (2) \textit{why} it improves both in-distribution (ID) and out-of-distribution (OOD) reasoning generalization. Through controlled experiments and theoretical analysis, we derive the following key insights. \textbf{1)} Structural Advantage: CoT training internalizes reasoning into a two-stage generalizing circuit, where the number of stages corresponds to the explicit reasoning steps during training. Notably, CoT-trained models resolve intermediate results at shallower layers compared to non-CoT counterparts, freeing up deeper layers to specialize in subsequent reasoning steps. \textbf{2)} Theoretical Analysis: the information-theoretic generalization bounds via distributional divergence can be decomposed into ID and OOD components. While ID error diminishes with sufficient training regardless of CoT, OOD error critically depends on CoT: Non-CoT training fails to generalize to OOD samples due to unseen reasoning patterns, whereas CoT training achieves near-perfect OOD generalization by mastering subtasks and reasoning compositions during training. The identified mechanisms explain our experimental results: CoT training accelerates convergence and enhances generalization from ID to both ID and OOD scenarios while maintaining robust performance even with tolerable noise. These findings are further validated on complex real-world datasets. This paper offers valuable insights for designing CoT strategies to enhance LLM reasoning robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google