Exploiting Multilingualism in Low-resource Neural Machine Translation via Adversarial Learning

要約

タイトル：Adversarial Learningを用いた低資源ニューラル機械翻訳における多言語性の活用

要約：

– GAN（Generative Adversarial Networks）は、ニューラル機械翻訳に有望なアプローチを提供するが、多言語を単一のモデルに統合することで、NMT（Neural Machine Translation）のパフォーマンスが低下する課題がある。
– バイリンガルモデルと同様に、マルチリンガルNMTも、モデルトレーニング中に各文につき1つの参照翻訳しか考慮しない。これにより、単一の参照翻訳によって、GANモデルはソース文の表現に関する十分な情報を学習できなくなってしまう。
– このニュアンスを解決するために、本研究では、DAASI（Denoising Adversarial Auto-encoder-based Sentence Interpolation）アプローチを提案して、多言語言語ペアのソースとターゲット文の中間レイテンシー表現を学習することで文の補間を実現する。
– 潜在表現に加え、我々はWasserstein-GANアプローチをマルチリンガルNMTモデルに組み込むことにより、複数の言語のモデル生成文を報酬計算に取り入れる。
– この計算された報酬により、GANベースのマルチリンガルモデルのパフォーマンスが効果的に最適化される。
– 低資源言語ペアで実験を実施し、提案手法が既存の最先端の方法よりも最大4 BLEUポイントのパフォーマンス向上を達成することを示した。
– さらに、非監視シナリオでゼロショット言語ペアに対してトレーニングされたモデルを使用し、提案手法の堅牢性を示した。

要約(オリジナル)

Generative Adversarial Networks (GAN) offer a promising approach for Neural Machine Translation (NMT). However, feeding multiple morphologically languages into a single model during training reduces the NMT’s performance. In GAN, similar to bilingual models, multilingual NMT only considers one reference translation for each sentence during model training. This single reference translation limits the GAN model from learning sufficient information about the source sentence representation. Thus, in this article, we propose Denoising Adversarial Auto-encoder-based Sentence Interpolation (DAASI) approach to perform sentence interpolation by learning the intermediate latent representation of the source and target sentences of multilingual language pairs. Apart from latent representation, we also use the Wasserstein-GAN approach for the multilingual NMT model by incorporating the model generated sentences of multiple languages for reward computation. This computed reward optimizes the performance of the GAN-based multilingual model in an effective manner. We demonstrate the experiments on low-resource language pairs and find that our approach outperforms the existing state-of-the-art approaches for multilingual NMT with a performance gain of up to 4 BLEU points. Moreover, we use our trained model on zero-shot language pairs under an unsupervised scenario and show the robustness of the proposed approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI