Getting More from Less: Large Language Models are Good Spontaneous Multilingual Learners

要約

最近、大規模言語モデル (LLM) は優れた言語機能を示しています。
既存の LLM のほとんどは、言語間でパフォーマンスが非常に不均衡ですが、翻訳並列データに基づく多言語調整は、LLM の多言語機能を強化する効果的な方法です。
この研究では、LLM の自発的な多言語対応の改善を発見し、包括的に調査します。
質問の翻訳データ (つまり、注釈付きの回答なし) に基づいて LLM の指示を調整すると、英語と、指示の調整中には見えなかった言語を含む幅広い言語との間の調整を促進できることがわかりました。
さらに、さまざまな設定と機構的解釈方法を利用して、多言語シナリオにおける LLM のパフォーマンスを包括的に分析します。
私たちの研究は、LLM が言語とタスクの優れた一般化により、多言語対応を効率的に改善する大きな可能性を秘めていることを示唆しています。

要約(オリジナル)

Recently, Large Language Models (LLMs) have shown impressive language capabilities. While most of the existing LLMs have very unbalanced performance across different languages, multilingual alignment based on translation parallel data is an effective method to enhance the LLMs’ multilingual capabilities. In this work, we discover and comprehensively investigate the spontaneous multilingual alignment improvement of LLMs. We find that LLMs instruction-tuned on the question translation data (i.e. without annotated answers) are able to encourage the alignment between English and a wide range of languages, even including those unseen during instruction-tuning. Additionally, we utilize different settings and mechanistic interpretability methods to analyze the LLM’s performance in the multilingual scenario comprehensively. Our work suggests that LLMs have enormous potential for improving multilingual alignment efficiently with great language and task generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google