The LLM Language Network: A Neuroscientific Approach for Identifying Causally Task-Relevant Units

要約

大規模言語モデル (LLM) は、言語タスクだけでなく、論理的推論や社会的推論など、本質的に言語ではないさまざまなタスクに対しても優れた機能を発揮します。
神経科学は、人間の脳において、言語処理を選択的かつ因果的にサポートする中核的な言語システムを特定しました。
ここで、同様の言語の専門化が LLM にも現れるかどうかを尋ねます。
私たちは、神経科学で使用されているのと同じローカリゼーションアプローチを使用して、18 の一般的な LLM 内の言語選択的ユニットを特定します。
次に、LLM の言語選択的な単位を除去すると (ランダムな単位ではなく)、言語タスクの大幅な低下につながることを実証することで、これらの単位の因果関係を確立します。
これに対応して、言語選択的 LLM ユニットは、ランダム ユニットよりも人間の言語システムからの脳記録とより一致しています。
最後に、私たちの位置特定手法が他の認知領域にも拡張できるかどうかを調査します。一部の LLM では推論と社会的能力に特化したネットワークが見つかりますが、モデル間には大きな違いがあります。
これらの発見は、大規模な言語モデルの特殊化の機能的および因果的証拠を提供し、脳内の機能的組織との類似点を強調します。

要約(オリジナル)

Large language models (LLMs) exhibit remarkable capabilities on not just language tasks, but also various tasks that are not linguistic in nature, such as logical reasoning and social inference. In the human brain, neuroscience has identified a core language system that selectively and causally supports language processing. We here ask whether similar specialization for language emerges in LLMs. We identify language-selective units within 18 popular LLMs, using the same localization approach that is used in neuroscience. We then establish the causal role of these units by demonstrating that ablating LLM language-selective units — but not random units — leads to drastic deficits in language tasks. Correspondingly, language-selective LLM units are more aligned to brain recordings from the human language system than random units. Finally, we investigate whether our localization method extends to other cognitive domains: while we find specialized networks in some LLMs for reasoning and social capabilities, there are substantial differences among models. These findings provide functional and causal evidence for specialization in large language models, and highlight parallels with the functional organization in the brain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google