Implicit Reasoning in Transformers is Reasoning through Shortcuts

要約

OpenaiのO1とO3の成功とDeepseekのR1の成功によって示されるように、テスト時間計算は、言語モデルの複雑なマルチステップ推論機能を強化するための新しいパラダイムとして浮上しています。
テスト時間計算における明示的な推論と比較して、暗黙的な推論はより推論効率が高く、生成されたトークンが少ない必要があります。
しかし、なぜ高度な推論能力が暗黙の推論スタイルで出現できないのですか？
この作業では、キュートされたマルチステップ数学的推論データセットでGPT-2をゼロから訓練し、分析実験を実施して、言語モデルがマルチステップタスクで暗黙の推論を実行する方法を調査します。
私たちの調査結果は、1）言語モデルが段階的な推論を実行し、暗黙の推論を介して領域内および領域外テストの両方で高い精度を達成することができます。
ただし、この機能は、固定パターンデータでトレーニングされた場合にのみ出現します。
2）逆に、無解像度のパターンデータのトレーニングから生じる暗黙の推論能力は、特定のパターンに過剰に適合し、さらに一般化することができない傾向があります。
特に、この制限は、最先端の大規模な言語モデルでも観察されます。
これらの調査結果は、言語モデルがショートカット学習を通じて暗黙的な推論を獲得し、一般化を欠いている間、同様のパターンのタスクで強力なパフォーマンスを可能にすることを示唆しています。

要約(オリジナル)

Test-time compute is emerging as a new paradigm for enhancing language models’ complex multi-step reasoning capabilities, as demonstrated by the success of OpenAI’s o1 and o3, as well as DeepSeek’s R1. Compared to explicit reasoning in test-time compute, implicit reasoning is more inference-efficient, requiring fewer generated tokens. However, why does the advanced reasoning capability fail to emerge in the implicit reasoning style? In this work, we train GPT-2 from scratch on a curated multi-step mathematical reasoning dataset and conduct analytical experiments to investigate how language models perform implicit reasoning in multi-step tasks. Our findings reveal: 1) Language models can perform step-by-step reasoning and achieve high accuracy in both in-domain and out-of-domain tests via implicit reasoning. However, this capability only emerges when trained on fixed-pattern data. 2) Conversely, implicit reasoning abilities emerging from training on unfixed-pattern data tend to overfit a specific pattern and fail to generalize further. Notably, this limitation is also observed in state-of-the-art large language models. These findings suggest that language models acquire implicit reasoning through shortcut learning, enabling strong performance on tasks with similar patterns while lacking generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google