How to think step-by-step: A mechanistic understanding of chain-of-thought reasoning

要約

思考連鎖（CoT）プロンプトを持つ大規模言語モデル（LLM）が示す優れた推論能力にもかかわらず、CoT生成を促進するモデルの内部メカニズムに関する理解が不足している。本研究では、CoT推論を発現させるLLM内の神経サブ構造をメカニズム的観点から調査する。架空のオントロジーに対するマルチステップ推論に適用されたLlama-2 7Bの分析から、LLMがステップバイステップの推論のために複数の並列的な回答生成経路を展開することを示す。これらの並列経路は、生成されたCoTと同様に、入力された質問文脈から逐次的な回答を提供する。LLMの中間層には機能的な裂け目が見られる。前半のトークン表現は事前学習事前学習に強く偏ったままであり、後半は文脈内事前学習に引き継がれる。この内部的な位相のずれは、異なる機能要素に現れる。すなわち、解答トークンを書き込む注意頭は後半に現れ、存在論的関係に沿って情報を移動させる注意頭は前半に現れる、といった具合である。我々の知る限り、これはLLMにおけるCoT推論の機械論的調査への最初の試みである。

要約(オリジナル)

Despite superior reasoning prowess demonstrated by Large Language Models (LLMs) with Chain-of-Thought (CoT) prompting, a lack of understanding prevails around the internal mechanisms of the models that facilitate CoT generation. This work investigates the neural sub-structures within LLMs that manifest CoT reasoning from a mechanistic point of view. From an analysis of Llama-2 7B applied to multistep reasoning over fictional ontologies, we demonstrate that LLMs deploy multiple parallel pathways of answer generation for step-by-step reasoning. These parallel pathways provide sequential answers from the input question context as well as the generated CoT. We observe a functional rift in the middle layers of the LLM. Token representations in the initial half remain strongly biased towards the pretraining prior, with the in-context prior taking over in the later half. This internal phase shift manifests in different functional components: attention heads that write the answer token appear in the later half, attention heads that move information along ontological relationships appear in the initial half, and so on. To the best of our knowledge, this is the first attempt towards mechanistic investigation of CoT reasoning in LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL