The Emergence of Abstract Thought in Large Language Models Beyond Any Language

要約

大規模な言語モデル（LLM）が進歩し続けるにつれて、多様な言語で効果的に機能する能力が著しい改善を示しています。
予備研究では、LLMの隠された活性化は、英語以外のプロンプトに応答する場合でも、英語に似ていることが多いことが観察されます。
これは、LLMが英語で「考える」ことができるという広範な仮定につながりました。
ただし、他の言語の特定のタスクで英語のパフォーマンスを上回ることさえ、強力な多言語パフォーマンスを示す最近の結果は、この見解に挑戦します。
この作業では、LLMが徐々にコア言語に依存しないパラメータースペースを開発することがわかりました。パラメーターの著しく小さなサブセットで、その結果、すべての言語で大きな性能劣化をもたらします。
このコンパクトでありながら重要なパラメーターのセットは、個々の言語を超えて一般化するモデルの能力の根底にあり、特定の言語システムに結び付けられていない抽象的な思考の出現をサポートします。
具体的には、言語関連のニューロンは、特定の言語の処理中に一貫して活性化され、共有（複数の言語でアクティブ）または排他的（1つに固有）のいずれかに分類されます。
LLMSが時間の経過とともに継続的な発生を受けると、共有ニューロンの割合と機能的重要性の両方が顕著に増加し、排他的なニューロンは徐々に影響が減少します。
これらの共有ニューロンは、コア言語に依存しないパラメーター空間のバックボーンを構成し、抽象的な思考の出現をサポートします。
これらの洞察に動機付けられているため、さまざまな開発段階でLLMSの言語存在レベルに合わせたニューロン固有のトレーニング戦略を提案します。
多様なLLMファミリーの実験は、私たちのアプローチをサポートしています。

要約(オリジナル)

As large language models (LLMs) continue to advance, their capacity to function effectively across a diverse range of languages has shown marked improvement. Preliminary studies observe that the hidden activations of LLMs often resemble English, even when responding to non-English prompts. This has led to the widespread assumption that LLMs may ‘think’ in English. However, more recent results showing strong multilingual performance, even surpassing English performance on specific tasks in other languages, challenge this view. In this work, we find that LLMs progressively develop a core language-agnostic parameter space-a remarkably small subset of parameters whose deactivation results in significant performance degradation across all languages. This compact yet critical set of parameters underlies the model’s ability to generalize beyond individual languages, supporting the emergence of abstract thought that is not tied to any specific linguistic system. Specifically, we identify language-related neurons-those are consistently activated during the processing of particular languages, and categorize them as either shared (active across multiple languages) or exclusive (specific to one). As LLMs undergo continued development over time, we observe a marked increase in both the proportion and functional importance of shared neurons, while exclusive neurons progressively diminish in influence. These shared neurons constitute the backbone of the core language-agnostic parameter space, supporting the emergence of abstract thought. Motivated by these insights, we propose neuron-specific training strategies tailored to LLMs’ language-agnostic levels at different development stages. Experiments across diverse LLM families support our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google