Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models

要約

大規模言語モデル (LLM) は、特別に厳選された多言語並列コーパスで事前トレーニングされていなくても、優れた多言語機能を実証します。
LLM が多言語テキストを処理する根本的なメカニズムを説明することは、依然として困難な問題です。
このペーパーでは、言語固有の領域を正確に特定するために、LLM の Transformer アーキテクチャの構成を詳しく調べます。
特に、LLM 内の言語固有のニューロンを識別するための新しい検出方法、言語活性化確率エントロピー (LAPE) を提案します。
LAPE に基づいて、LLaMA-2 と BLOOM という 2 つの代表的な LLM について包括的な実験を行います。
私たちの調査結果は、特定の言語の処理における LLM の熟練度は主に、主にモデルの最上位層と最下位層に位置するニューロンの小さなサブセットによるものであることを示しています。
さらに、言語固有のニューロンを選択的にアクティブ化または非アクティブ化することによって、LLM の出力言語を「操作」する実現可能性を示します。
私たちの研究は、LLM の多言語機能の理解と探求に重要な証拠を提供します。

要約(オリジナル)

Large language models (LLMs) demonstrate remarkable multilingual capabilities without being pre-trained on specially curated multilingual parallel corpora. It remains a challenging problem to explain the underlying mechanisms by which LLMs process multilingual texts. In this paper, we delve into the composition of Transformer architectures in LLMs to pinpoint language-specific regions. Specially, we propose a novel detection method, language activation probability entropy (LAPE), to identify language-specific neurons within LLMs. Based on LAPE, we conduct comprehensive experiments on two representative LLMs, namely LLaMA-2 and BLOOM. Our findings indicate that LLMs’ proficiency in processing a particular language is predominantly due to a small subset of neurons, primarily situated in the models’ top and bottom layers. Furthermore, we showcase the feasibility to ‘steer’ the output language of LLMs by selectively activating or deactivating language-specific neurons. Our research provides important evidence to the understanding and exploration of the multilingual capabilities of LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google