An Investigation of Neuron Activation as a Unified Lens to Explain Chain-of-Thought Eliciting Arithmetic Reasoning of LLMs

要約

大規模言語モデル(LLM)は、Chain-of-Thought(CoT)プロンプトでプロンプトされた場合に、強力な算術推論能力を示す。しかし、LLMがCoTプロンプトをどのように処理するかについては、まだ限定的な理解しか得られていない。それを解明するために、先行研究は主にCoTプロンプトの異なるコンポーネントを除去し、その結果生じるLLMのパフォーマンス変化を経験的に観察することに焦点を当ててきた。しかし、これらの構成要素がLLMの推論にとって重要である理由については検討されていない。このギャップを埋めるため、本研究では、先行研究による観察に統一的な説明を与えるレンズとして、「ニューロンの活性化」を調査する。具体的には、LLMのフィードフォワード層内のニューロンを調べ、Llama2を例として、その算術推論能力を活性化したと考えられる。また、この調査を容易にするために、GPT-4に基づき、算術的推論を意味するニューロンを自動的に識別するアプローチを提案する。我々の分析により、LLMのフィードフォワード層における推論ニューロンの活性化が、CoTプロンプトにおける様々な構成要素の重要性を説明できることが明らかになった。

要約(オリジナル)

Large language models (LLMs) have shown strong arithmetic reasoning capabilities when prompted with Chain-of-Thought (CoT) prompts. However, we have only a limited understanding of how they are processed by LLMs. To demystify it, prior work has primarily focused on ablating different components in the CoT prompt and empirically observing their resulting LLM performance change. Yet, the reason why these components are important to LLM reasoning is not explored. To fill this gap, in this work, we investigate “neuron activation” as a lens to provide a unified explanation to observations made by prior work. Specifically, we look into neurons within the feed-forward layers of LLMs that may have activated their arithmetic reasoning capabilities, using Llama2 as an example. To facilitate this investigation, we also propose an approach based on GPT-4 to automatically identify neurons that imply arithmetic reasoning. Our analyses revealed that the activation of reasoning neurons in the feed-forward layers of an LLM can explain the importance of various components in a CoT prompt, and future research can extend it for a more complete understanding.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL