Extrapolating Large Language Models to Non-English by Aligning Languages

要約

トレーニング データの分布が不均衡であるため、大規模言語モデル (LLM) の言語能力は英語に偏ることがよくあります。
このペーパーでは、言語間のセマンティック調整を構築することで、英語以外の言語で事前トレーニングされた LLM を強化することを提案します。
翻訳タスクデータとクロスリンガル一般タスクデータの両方を使用してLLaMAに対して命令チューニングを実行し、クロスリンガルモデル(x-LLaMA)を取得します。
異言語ベンチマーク XQUAD および MLQA での実験結果は、x-LLaMA モデルが英語以外の 6 言語で英語の命令調整モデル (Alpaca) よりも平均 42.50% 優れていることを示しています。
中国のベンチマーク C-Eval でのさらなる実験では、x-LLaMA が中国の人文科学の課題で大幅な改善を達成し、Alpaca を 8.2% 上回っていることが示されました。
また、翻訳データのターゲット側に英語以外のテキストを組み込むことは、英語以外の能力を高めるのに特に効果的であることもわかりました。
さらに、翻訳タスクのデータがスケールアップするにつれて、LLM 内の意味論的な整合性をさらに強化できることを発見し、基礎となるスケーリング則の定式化を示します。
翻訳データセット Flores-101 の評価結果は、\method が評価されたすべての方向で以前の LLaMA ベースのモデルよりも優れていることを示しています。
コードとデータは https://github.com/OwenNJU/x-LLM から入手できます。

要約(オリジナル)

Due to the unbalanced training data distribution, the language ability of large language models (LLMs) is often biased towards English. In this paper, we propose to empower pre-trained LLMs on non-English languages by building semantic alignment across languages. We perform instruction-tuning on LLaMA with both translation task data and cross-lingual general task data to obtain cross-lingual models (x-LLaMA). Experiment results on cross-lingual benchmark XQUAD and MLQA show that x-LLaMA models outperform the English instruction-tuned counterpart (Alpaca) by 42.50% on average on six non-English languages. Further experiments on Chinese benchmark C-Eval show that x-LLaMA achieves significant improvement on Chinese humanities tasks, outperforming Alpaca by 8.2%. We also discover that incorporating non-English text on the target side of translation data is particularly effective for boosting non-English ability. Besides, we find that semantic alignment within LLM can be further strengthened as translation task data scales up and we present the formulation of the underlying scaling law. Evaluation results on translation dataset Flores-101 show that \method outperforms previous LLaMA-based models in all evaluated directions. Code and data will be available at: https://github.com/OwenNJU/x-LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google