Zero-shot cross-lingual transfer in instruction tuning of large language model

要約

命令チューニング (IT) は、事前トレーニングされた大規模言語モデル (LLM) に任意の命令に従うように教えるために広く使用されていますが、多言語設定では十分に研究されていません。
この研究では、LLM が英語のみのデータで命令調整され、その後、他の言語のユーザー プロンプトでテストされる、IT におけるゼロショットの言語間転送の体系的な研究を実施します。
私たちはモデル構成の選択の影響を調査し、多言語指導に対する多面的な評価戦略を考案します。
たとえモデルトレーニングのすべての段階が英語中心であっても、IT 分野では言語間の転送がうまく行われることがわかりました。ただし、これはハイパーパラメータ調整で多言語性が考慮されており、十分な量の IT データがある場合に限られます。
英語で訓練を受けた LLM は、他の言語でも正しい言語で包括的で役立つ応答を生成することができますが、事実性が低く、流暢さに誤りがある場合があります。

要約(オリジナル)

Instruction tuning (IT) is widely used to teach pretrained large language models (LLMs) to follow arbitrary instructions, but is under-studied in multilingual settings. In this work, we conduct a systematic study of zero-shot cross-lingual transfer in IT, when an LLM is instruction-tuned on English-only data and then tested on user prompts in other languages. We investigate the influence of model configuration choices and devise a multi-facet evaluation strategy for multilingual instruction following. We find that cross-lingual transfer does happen successfully in IT even if all stages of model training are English-centric, but only if multiliguality is taken into account in hyperparameter tuning and with large enough IT data. English-trained LLMs are capable of generating correct-language, comprehensive and helpful responses in the other languages, but suffer from low factuality and may occasionally have fluency errors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google