A Mechanistic Interpretation of Arithmetic Reasoning in Language Models using Causal Mediation Analysis

要約

大規模言語モデル (LM) における数学的推論は、最近の研究で大きな注目を集めていますが、これらのモデルがアーキテクチャ内の算術タスクに関連する情報をどのように処理し、保存するかについては、十分な理解が得られていません。
言語モデルのこの側面についての理解を深めるために、因果媒介分析フレームワークを使用した算術質問に対する Transformer ベースの LM の機械的解釈を示します。
特定のモデル コンポーネントのアクティブ化に介入し、その結果生じる予測確率の変化を測定することにより、特定の予測に関与するパラメーターのサブセットを特定します。
これにより、算術関連の情報が LM によってどのように処理されるかについての洞察が得られます。
私たちの実験結果は、LM がアテンション メカニズムを使用して、クエリに関連する情報をシーケンス途中の初期層から最終トークンに送信することによって入力を処理することを示しています。
次に、この情報は一連の MLP モジュールによって処理され、残差ストリームに組み込まれる結果関連情報が生成されます。
観察された活性化ダイナミクスの特異性を評価するために、算術クエリに対するさまざまなモデル コンポーネントの効果を、プロンプトからの数値検索や事実知識の質問などの他のタスクと比較します。

要約(オリジナル)

Mathematical reasoning in large language models (LMs) has garnered significant attention in recent work, but there is a limited understanding of how these models process and store information related to arithmetic tasks within their architecture. In order to improve our understanding of this aspect of language models, we present a mechanistic interpretation of Transformer-based LMs on arithmetic questions using a causal mediation analysis framework. By intervening on the activations of specific model components and measuring the resulting changes in predicted probabilities, we identify the subset of parameters responsible for specific predictions. This provides insights into how information related to arithmetic is processed by LMs. Our experimental results indicate that LMs process the input by transmitting the information relevant to the query from mid-sequence early layers to the final token using the attention mechanism. Then, this information is processed by a set of MLP modules, which generate result-related information that is incorporated into the residual stream. To assess the specificity of the observed activation dynamics, we compare the effects of different model components on arithmetic queries with other tasks, including number retrieval from prompts and factual knowledge questions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google