Prompt Learning to Mitigate Catastrophic Forgetting in Cross-lingual Transfer for Open-domain Dialogue Generation

要約

非英語言語のための対話システムは、長い間、十分に研究されてこなかった。本論文では、非英語圏のオープンドメイン対話システムにおいて、限られたデータで、少数ショット言語間移動学習（FS-XLT）とマルチタスク学習（MTL）を調査する最初のステップを踏みます。予備実験では、6言語すべてについて、FS-XLTとMTLの両方で壊滅的な忘却が観察された。この問題を軽減するために、FS-XLTとMTLにおいて、固定プロンプトLMチューニングによる事前学習と微調整の間のギャップを埋めることにより、多言語事前学習言語モデル（mPLM）の多言語性を維持できる、シンプルかつ効果的なプロンプト学習アプローチを提案し、我々の手作りプロンプトを用いた。6言語すべてについて、自動評価と人間による評価の両方で実験した結果、本アプローチの有効性が実証されました。コードは https://github.com/JeremyLeiLiu/XLinguDial で公開されています。

要約(オリジナル)

Dialogue systems for non-English languages have long been under-explored. In this paper, we take the first step to investigate few-shot cross-lingual transfer learning (FS-XLT) and multitask learning (MTL) in the context of open-domain dialogue generation for non-English languages with limited data. We observed catastrophic forgetting in both FS-XLT and MTL for all 6 languages in our preliminary experiments. To mitigate the issue, we propose a simple yet effective prompt learning approach that can preserve the multilinguality of multilingual pre-trained language model (mPLM) in FS-XLT and MTL by bridging the gap between pre-training and fine-tuning with Fixed-prompt LM Tuning and our hand-crafted prompts. Experimental results on all 6 languages in terms of both automatic and human evaluations demonstrate the effectiveness of our approach. Our code is available at https://github.com/JeremyLeiLiu/XLinguDial.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL