The Rise and Down of Babel Tower: Investigating the Evolution Process of Multilingual Code Large Language Model

要約

大規模言語モデル（LLM）は、重要な多言語能力を示している。しかし、事前学習中にこのような能力が発達するメカニズムはよく理解されていない。本稿では、コードLLMを実験プラットフォームとして用い、事前学習過程におけるLLMの多言語能力の進化を探る。我々の観察に基づき、LLMが新しい言語能力を獲得するプロセス全体を説明するバベルタワー仮説を提案する。この仮説は、LLMが新たな言語能力を獲得するプロセス全体を説明するものである。学習プロセスにおいて、複数の言語は、最初は主要言語が支配する単一の知識体系を共有し、徐々に言語固有の知識体系を発達させる。次に、作業言語と言語伝達ニューロンの特定を通してLLMの内部状態を追跡することで、上記の仮説を検証する。実験結果は、LLMの内部状態の変化が我々のバベルタワー仮説と一致することを示している。これらの洞察に基づき、多言語コードLLMのために最適化された事前学習コーパスを構築する新しい方法を提案する。提案するバベルタワー仮説は、LLMにおける最適な多言語能力を達成するための事前学習データ分布の設計に関する新たな洞察を提供する。

要約(オリジナル)

Large language models (LLMs) have shown significant multilingual capabilities. However, the mechanisms underlying the development of these capabilities during pre-training are not well understood. In this paper, we use code LLMs as an experimental platform to explore the evolution of multilingual capabilities in LLMs during the pre-training process. Based on our observations, we propose the Babel Tower Hypothesis, which describes the entire process of LLMs acquiring new language capabilities. During the learning process, multiple languages initially share a single knowledge system dominated by the primary language and gradually develop language-specific knowledge systems. We then validate the above hypothesis by tracking the internal states of the LLMs through identifying working languages and language transferring neurons. Experimental results show that the internal state changes of the LLM are consistent with our Babel Tower Hypothesis. Building on these insights, we propose a novel method to construct an optimized pre-training corpus for multilingual code LLMs, which significantly outperforms LLMs trained on the original corpus. The proposed Babel Tower Hypothesis provides new insights into designing pre-training data distributions to achieve optimal multilingual capabilities in LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL