The LLM Language Network: A Neuroscientific Approach for Identifying Causally Task-Relevant Units

要約

大規模な言語モデル（LLMS）は、言語タスクだけでなく、論理的推論や社会的推論など、本質的に言語的ではないさまざまなタスクにも顕著な能力を示します。
人間の脳では、神経科学は、言語処理を選択的かつ因果的にサポートするコア言語システムを特定しました。
ここでは、LLMSに言語の同様の専門化が現れるかどうかを尋ねます。
神経科学で使用されるのと同じローカリゼーションアプローチを使用して、18人の一般的なLLM以内に言語選択ユニットを特定します。
次に、ランダムユニットではなく、LLM言語選択ユニットをアブレーションすることにより、言語タスクの劇的な欠陥につながることを実証することにより、これらのユニットの因果的役割を確立します。
それに対応して、言語選択的LLMユニットは、ランダムユニットよりも人間の言語システムからの脳記録により整合されています。
最後に、ローカリゼーション方法が他の認知ドメインに拡張されるかどうかを調査します。推論や社会的能力のためにいくつかのLLMで専門的なネットワークを見つけますが、モデルには大きな違いがあります。
これらの発見は、大規模な言語モデルにおける専門化の機能的および因果的証拠を提供し、脳内の機能組織との類似点を強調します。

要約(オリジナル)

Large language models (LLMs) exhibit remarkable capabilities on not just language tasks, but also various tasks that are not linguistic in nature, such as logical reasoning and social inference. In the human brain, neuroscience has identified a core language system that selectively and causally supports language processing. We here ask whether similar specialization for language emerges in LLMs. We identify language-selective units within 18 popular LLMs, using the same localization approach that is used in neuroscience. We then establish the causal role of these units by demonstrating that ablating LLM language-selective units — but not random units — leads to drastic deficits in language tasks. Correspondingly, language-selective LLM units are more aligned to brain recordings from the human language system than random units. Finally, we investigate whether our localization method extends to other cognitive domains: while we find specialized networks in some LLMs for reasoning and social capabilities, there are substantial differences among models. These findings provide functional and causal evidence for specialization in large language models, and highlight parallels with the functional organization in the brain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google