Understanding Reasoning in Chain-of-Thought from the Hopfieldian View

要約

大規模言語モデルは、推論能力を向上させる重要な技術として登場したChain-of-Thought（CoT）プロンプトにより、様々なタスクにおいて顕著な能力を示している。しかし、既存の研究は、CoTの成功の背後にある基本的な要因を説明し、理解するための包括的なフレームワークを欠いており、主にパフォーマンスを向上させることに焦点を当てている。このギャップを埋めるために、我々は認知神経科学のホップフィールド的認知観に基づいた新しい視点を導入する。我々は、CoTの推論と、刺激、行動、神経集団、表現空間などの主要な認知要素との関連を確立する。我々の見解から、推論プロセスをこれらの表現空間間の移動として理解することができる。この洞察に基づき、我々はCoTの反応における推論エラーを局所化する方法を開発する。さらに、低次元表現空間のロバスト性を活用し、CoTの推論プロセスのロバスト性を向上させるRepresentation-of-Thought（RoT）フレームワークを提案する。実験結果は、RoTが推論プロセスに対するきめ細かな制御を提供しながら、CoT推論の頑健性と解釈可能性を向上させることを示している。

要約(オリジナル)

Large Language Models have demonstrated remarkable abilities across various tasks, with Chain-of-Thought (CoT) prompting emerging as a key technique to enhance reasoning capabilities. However, existing research primarily focuses on improving performance, lacking a comprehensive framework to explain and understand the fundamental factors behind CoT’s success. To bridge this gap, we introduce a novel perspective grounded in the Hopfieldian view of cognition in cognitive neuroscience. We establish a connection between CoT reasoning and key cognitive elements such as stimuli, actions, neural populations, and representation spaces. From our view, we can understand the reasoning process as the movement between these representation spaces. Building on this insight, we develop a method for localizing reasoning errors in the response of CoTs. Moreover, we propose the Representation-of-Thought (RoT) framework, which leverages the robustness of low-dimensional representation spaces to enhance the robustness of the reasoning process in CoTs. Experimental results demonstrate that RoT improves the robustness and interpretability of CoT reasoning while offering fine-grained control over the reasoning process.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL