Extrapolating Large Language Models to Non-English by Aligning Languages

要約

既存の大規模言語モデルは、トレーニング データの不均衡により、異なる言語間で異なる機能を示します。
英語の課題における彼らのパフォーマンスは、他の言語の課題よりも優れていることがよくあります。
このペーパーでは、言語間のセマンティック調整を構築することで、英語以外の言語で事前トレーニングされた LLM を強化します。
まず、LLaMA でクロスリンガル命令チューニング (CoIT) を実行することで、個々の言語をターゲットにすることから始めます。つまり、翻訳タスク データとクロスリンガル一般タスク データを使用してチューニングして、クロスリンガル モデル (x-LLaMA) を取得し、基礎となるスケーリングを定式化します。
スケーラブルな翻訳データを使用する利点を調査する法律。
次に、混合リソースを使用して多言語命令チューニング (MuIT) を実行して、多言語 m-LLaMA を構築します。
また、リソースに制約のある設定でスケーリングの法則を活用してデータ割り当てを最適化する方法についても説明します。
言語を超えたベンチマーク XQUAD と MLQA の実験結果では、x-LLaMA が英語以外の 6 言語で英語の命令に調整された対応物 (Alpaca) を平均 27.83% 上回っていることが示されています。
翻訳データセット Flores-101 の評価結果は、x-LLaMA が以前の LLaMA ベースのモデルよりも平均 18.89% 優れていることを示しています。
心強いことに、m-LLaMA は個々の言語で x-LLaMA と同等のパフォーマンスを達成し、多言語の指示に従う能力を実証しています。
応答内容と表現空間をさらに分析すると、m-LLaMA の中間層内の多言語意味空間の整合性が明らかになります。

要約(オリジナル)

Existing large language models show disparate capability across different languages, due to the imbalance in the training data. Their performances on English tasks are often stronger than on tasks of other languages. In this paper, we empower pre-trained LLMs on non-English languages by building semantic alignment across languages. We start from targeting individual languages by performing cross-lingual instruction-tuning (CoIT) on LLaMA, i.e. tuning it with translation task data and cross-lingual general task data to obtain cross-lingual models (x-LLaMAs), and formulate underlying scaling laws to investigate the advantages of using scalable translation data. Then we perform multilingual instruction-tuning (MuIT) with mixed resources to build multilingual m-LLaMA. We also illustrate how we leverage the scaling laws to optimize data allocation in a resource-constrained setting. Experiment results on cross-lingual benchmarks XQUAD and MLQA show that x-LLaMAs surpass the English instruction-tuned counterpart (Alpaca) by an average of 27.83% across six non-English languages. Evaluation results on translation dataset Flores-101 show that x-LLaMAs outperform previous LLaMA-based models by an average of 18.89%. Encouragingly, m-LLaMA achieves comparable performance to x-LLaMAs on individual languages and demonstrates the ability to follow multilingual instructions. Further analysis on response content and representation space reveals the alignment of the multilingual semantic space within the middle layers of m-LLaMA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google