Improving Zero-shot Multilingual Neural Machine Translation by Leveraging Cross-lingual Consistency Regularization

要約

多言語ニューラル機械翻訳（NMT）モデルは、ゼロショット翻訳という、訓練中に未見の言語ペア間を直接翻訳することができる有望な機能を有している。教師あり翻訳からゼロショット翻訳への移行がうまくいくためには、多言語NMTモデルが異なる言語間で普遍的な表現を学習することが期待される。本論文では、異なる言語間の表現ギャップを埋め、ゼロショット翻訳性能を高めるために、クロスリンガル一貫性正則化CrossConSTを導入する。理論解析により、CrossConSTはゼロショット翻訳の確率分布を暗黙的に最大化することが示され、低リソースと高リソースの両方のベンチマークを用いた実験結果により、CrossConSTは一貫して翻訳性能を向上させることが示された。また、CrossConSTが文の表現ギャップを解消し、表現空間をより良く整列させることができることも実験分析から証明された。CrossConSTの普遍性と簡便性を考慮すると、将来の多言語NMT研究のための強力なベースラインとして機能することができると考えている。

要約(オリジナル)

The multilingual neural machine translation (NMT) model has a promising capability of zero-shot translation, where it could directly translate between language pairs unseen during training. For good transfer performance from supervised directions to zero-shot directions, the multilingual NMT model is expected to learn universal representations across different languages. This paper introduces a cross-lingual consistency regularization, CrossConST, to bridge the representation gap among different languages and boost zero-shot translation performance. The theoretical analysis shows that CrossConST implicitly maximizes the probability distribution for zero-shot translation, and the experimental results on both low-resource and high-resource benchmarks show that CrossConST consistently improves the translation performance. The experimental analysis also proves that CrossConST could close the sentence representation gap and better align the representation space. Given the universality and simplicity of CrossConST, we believe it can serve as a strong baseline for future multilingual NMT research.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL