Improving Multilingual Neural Machine Translation by Utilizing Semantic and Linguistic Features

要約

多言語対多言語のニューラル機械翻訳は、ソース文の意味的特徴とターゲット文の言語的特徴を統合するプロセスとみなすことができる。ゼロショット翻訳を強化するために、モデルは言語間で知識を共有する必要があり、これは普遍的表現または言語横断的マッピングを学習する補助タスクによって達成できる。このため、多言語翻訳を強化するために、複数の言語間で意味的特徴と言語的特徴の両方を利用することを提案する。エンコーダ側では、意味的特徴と言語的特徴を分離することによってエンコーダ表現を整合させる分離学習タスクを導入し、完全な情報を保持しながら知識伝達を容易にする。デコーダ側では、言語エンコーダを活用して低レベルの言語的特徴を統合し、ターゲット言語の生成を支援する。多言語データセットでの実験結果は、教師あり翻訳での性能を維持しながら、ベースラインシステムと比較してゼロショット翻訳での大幅な改善を実証している。さらなる分析により、意味的特徴と言語的特徴の両方を活用する本手法の有効性が検証された。コードはhttps://github.com/ictnlp/SemLing-MNMT。

要約(オリジナル)

The many-to-many multilingual neural machine translation can be regarded as the process of integrating semantic features from the source sentences and linguistic features from the target sentences. To enhance zero-shot translation, models need to share knowledge across languages, which can be achieved through auxiliary tasks for learning a universal representation or cross-lingual mapping. To this end, we propose to exploit both semantic and linguistic features between multiple languages to enhance multilingual translation. On the encoder side, we introduce a disentangling learning task that aligns encoder representations by disentangling semantic and linguistic features, thus facilitating knowledge transfer while preserving complete information. On the decoder side, we leverage a linguistic encoder to integrate low-level linguistic features to assist in the target language generation. Experimental results on multilingual datasets demonstrate significant improvement in zero-shot translation compared to the baseline system, while maintaining performance in supervised translation. Further analysis validates the effectiveness of our method in leveraging both semantic and linguistic features. The code is available at https://github.com/ictnlp/SemLing-MNMT.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL