A Systematic Analysis of Subwords and Cross-Lingual Transfer in Multilingual Translation

要約

多言語モデリングは、部分的に共有サブワード表現を通じて、低リソース言語の機械翻訳を改善できます。
この論文では、言語間伝達におけるサブワード分割の役割を研究します。
私たちは、相乗効果を促進し、異なる言語類型間の干渉を防止するためのいくつかのサブワード手法の有効性を体系的に比較します。
私たちの調査結果は、サブワードの正則化が多言語モデリングにおける相乗効果を高めるのに対し、BPE は言語間の微調整中の転送をより効果的に促進することを示しています。
特に、我々の結果は、正書法の単語境界規則（書かれた単語の形態学的粒度）の違いが、言語上の無関係性よりも言語間の伝達をより大きく妨げる可能性があることを示唆しています。
私たちの研究では、サブワード モデリングに関する決定が、多言語モデリングの利点を最適化するための鍵となる可能性があることを確認しています。

要約(オリジナル)

Multilingual modelling can improve machine translation for low-resource languages, partly through shared subword representations. This paper studies the role of subword segmentation in cross-lingual transfer. We systematically compare the efficacy of several subword methods in promoting synergy and preventing interference across different linguistic typologies. Our findings show that subword regularisation boosts synergy in multilingual modelling, whereas BPE more effectively facilitates transfer during cross-lingual fine-tuning. Notably, our results suggest that differences in orthographic word boundary conventions (the morphological granularity of written words) may impede cross-lingual transfer more significantly than linguistic unrelatedness. Our study confirms that decisions around subword modelling can be key to optimising the benefits of multilingual modelling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google