CrossIn: An Efficient Instruction Tuning Approach for Cross-Lingual Knowledge Alignment

要約

多言語の熟練度は、大規模言語モデル (LLM) にとって大きな課題となります。
英語中心のモデルは、通常、他の言語、特に英語から言語的に遠い言語では最適ではありません。
このパフォーマンスの不一致は主に、トレーニング前および命令調整段階での言語間でのトレーニング データの不均衡な分散に起因します。
この問題に対処するために、クロスインと呼ばれる新しいアプローチを提案します。これは、言語を超えた命令チューニング データの混合構成を利用します。
私たちの手法は、さまざまな言語で共有される圧縮表現を利用して、単一プロセス内でモデルのタスク解決能力と多言語習熟度を効率的に強化します。
さらに、CrossIn の有効性を評価するためのマルチタスクおよび多面的なベンチマークを紹介します。
実験結果は、私たちの方法がタスクと言語全体でパフォーマンスを大幅に向上させることを示しており、多言語の一貫性と精度の向上に対する言語間のデータ量と翻訳データの統合の影響についての広範な洞察を提供します。

要約(オリジナル)

Multilingual proficiency presents a significant challenge for large language models (LLMs). English-centric models are usually suboptimal in other languages, particularly those that are linguistically distant from English. This performance discrepancy mainly stems from the imbalanced distribution of training data across languages during pre-training and instruction tuning stages. To address this problem, we propose a novel approach called CrossIn, which utilizes a mixed composition of cross-lingual instruction tuning data. Our method leverages the compressed representation shared by various languages to efficiently enhance the model’s task-solving capabilities and multilingual proficiency within a single process. In addition, we introduce a multi-task and multi-faceted benchmark to evaluate the effectiveness of CrossIn. Experimental results demonstrate that our method substantially improves performance across tasks and languages, and we provide extensive insights into the impact of cross-lingual data volume and the integration of translation data on enhancing multilingual consistency and accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google