Beyond English-Centric LLMs: What Language Do Multilingual Language Models Think in?

要約

この研究では、非英語中心の LLM が、その優れたパフォーマンスにも関わらず、それぞれの主要言語で「考える」かどうかを調査します。より正確には、「考える」とは、語彙に埋め込まれていないときに中間層の表現がどのように行われるかを指します。
空間では、生成中に特定の主要言語に対してより高い確率を示します。
このような言語を内部 $\textbf{潜在言語}$ と呼びます。
私たちは、日本語処理のモデルの 3 つの典型的なカテゴリの潜在言語を調べます。Llama2 は英語中心のモデルです。
Swallow は、日本語で事前トレーニングを継続した英語中心のモデルです。
LLM-jp は、英語と日本語のバランスの取れたコーパスで事前トレーニングされたモデルです。
私たちの経験的調査結果は、内部潜在言語として英語のみに依存する Llama2 とは異なり、日本固有の Swallow と LLM-jp は日本語と英語の両方を使用し、二重の内部潜在言語を示していることを明らかにしています。
任意のターゲット言語について、モデルは、それに最も密接に関連する潜在言語を優先的にアクティブ化します。
さらに、潜在的な内部言語とターゲット出力言語の間の文化的対立を伴う質問に中間層がどのように応答するかを調査します。
さらに、中間層の表現に反映される一貫した意味論的な意味を維持しながら、言語のアイデンティティが層間でどのように移行するかを調査します。
この研究は、非英語中心の大規模言語モデルについての理解を深め、中間層内の言語表現の複雑なダイナミクスに焦点を当てています。

要約(オリジナル)

In this study, we investigate whether non-English-centric LLMs, despite their strong performance, `think’ in their respective dominant language: more precisely, `think’ refers to how the representations of intermediate layers, when un-embedded into the vocabulary space, exhibit higher probabilities for certain dominant languages during generation. We term such languages as internal $\textbf{latent languages}$. We examine the latent language of three typical categories of models for Japanese processing: Llama2, an English-centric model; Swallow, an English-centric model with continued pre-training in Japanese; and LLM-jp, a model pre-trained on balanced English and Japanese corpora. Our empirical findings reveal that, unlike Llama2 which relies exclusively on English as the internal latent language, Japanese-specific Swallow and LLM-jp employ both Japanese and English, exhibiting dual internal latent languages. For any given target language, the model preferentially activates the latent language most closely related to it. In addition, we explore how intermediate layers respond to questions involving cultural conflicts between latent internal and target output languages. We further explore how the language identity shifts across layers while keeping consistent semantic meaning reflected in the intermediate layer representations. This study deepens the understanding of non-English-centric large language models, highlighting the intricate dynamics of language representation within their intermediate layers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google