Finite State Automata Inside Transformers with Chain-of-Thought: A Mechanistic Study on State Tracking

要約

チェーンオブ思考（COT）は、幅広いタスクにわたって大規模な言語モデル（LLMS）のパフォーマンスを大幅に向上させ、以前の研究では、COTが理論的に表現力を高めることができることが示されています。
ただし、トランス+COTが学習できるアルゴリズムの機構的理解は限られています。
この作業では、（1）トランス+COTとそのバリアントの状態追跡能力を評価し、COTの有効性を確認します。
（2）次に、世界の状態の追跡を担当するモデルコンポーネントのサブセットである回路を特定し、後層MLPニューロンが重要な役割を果たしていることを発見します。
圧縮と区別の2つのメトリックを提案し、各状態のニューロンセットがほぼ100％の精度を達成し、モデル内に埋め込まれた暗黙の有限状態オートマトン（FSA）の証拠を提供することを示します。
（3）さらに、3つの現実的な設定を調査します。中間ステップのスキップ、データノイズの導入、およびテストの長さの一般化です。
私たちの結果は、Transformer+CoTが堅牢なアルゴリズム（FSA）を学習し、挑戦的なシナリオでの回復力を強調していることを示しています。

要約(オリジナル)

Chain-of-Thought (CoT) significantly enhances the performance of large language models (LLMs) across a wide range of tasks, and prior research shows that CoT can theoretically increase expressiveness. However, there is limited mechanistic understanding of the algorithms that Transformer+CoT can learn. In this work, we (1) evaluate the state tracking capabilities of Transformer+CoT and its variants, confirming the effectiveness of CoT. (2) Next, we identify the circuit, a subset of model components, responsible for tracking the world state, finding that late-layer MLP neurons play a key role. We propose two metrics, compression and distinction, and show that the neuron sets for each state achieve nearly 100% accuracy, providing evidence of an implicit finite state automaton (FSA) embedded within the model. (3) Additionally, we explore three realistic settings: skipping intermediate steps, introducing data noise, and testing length generalization. Our results demonstrate that Transformer+CoT learns robust algorithms (FSA), highlighting its resilience in challenging scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google