Viewing Knowledge Transfer in Multilingual Machine Translation Through a Representational Lens

要約

我々は、多言語ニューラル機械翻訳において、翻訳品質だけでは知識移転を測定するための十分な指標にはならないと主張する。この主張を支持するために、言語間の表現上の類似性を測定するRepresentational Transfer Potential (RTP)を導入する。また、RTPは翻訳品質の変化と強い相関があり、知識移転が起きていることを示す。さらに、転送に関連するデータと言語の特徴を調査し、多並列重複が重要であるが、まだ十分に調査されていない特徴であることを発見した。これに基づいて、我々は新しい学習スキームを開発した。このスキームは、補助的な類似性損失を使用し、多並列データを利用することで、言語間で表現がより不変になるように促すものである。本手法により、複数のデータとモデルのセットアップにおいて、低リソース言語と中リソース言語の翻訳品質が向上することを示す。

要約(オリジナル)

We argue that translation quality alone is not a sufficient metric for measuring knowledge transfer in multilingual neural machine translation. To support this claim, we introduce Representational Transfer Potential (RTP), which measures representational similarities between languages. We show that RTP can measure both positive and negative transfer (interference), and find that RTP is strongly correlated with changes in translation quality, indicating that transfer does occur. Furthermore, we investigate data and language characteristics that are relevant for transfer, and find that multi-parallel overlap is an important yet under-explored feature. Based on this, we develop a novel training scheme, which uses an auxiliary similarity loss that encourages representations to be more invariant across languages by taking advantage of multi-parallel data. We show that our method yields increased translation quality for low- and mid-resource languages across multiple data and model setups.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL