Multilingual Bidirectional Unsupervised Translation Through Multilingual Finetuning and Back-Translation

要約

タイトル：多言語の双方向教師なし翻訳における多言語ファインチューニングとバックトランスレーションを通じた翻訳

要約：

– モデルの訓練を2段階に分けて、未知の言語を英語から翻訳するためのNMTモデルを訓練するアプローチを提案する。
– 最初の段階では、エンコーダーとデコーダーから成るモデルを、事前にトレーニングされたXLM-RおよびRoBERTaの重みで初期化し、40の言語の並列データを英語に対して多言語ファインチューニングする。
– このモデルは、未知の言語でのゼロショット翻訳に汎化できることがわかる。
– 2段階目では、この汎化能力を利用して、単言語データセットから合成並列データを生成し、バックトランスレーションの連続したラウンドで双方向にトレーニングすることで、モデルを改善する。
– このアプローチは、標準的なクロスエントロピー目的関数のみを使用する概念的に単純であり、データ駆動型である。また、助けとなる並列データと単言語データを順次活用する。
– 7つの低資源言語に対する教師なしNMTの結果を評価し、バックトランスレーショントレーニングの各ラウンドで双方向の性能を更に改善することができたことがわかる。
– 最終的に単一のEcXTraトレーニングモデルは、全ての翻訳方向で競争力のある翻訳性能を発揮し、特に英語からカザフ語への翻訳において、新たな最高性能を確立した。
– コードは https://github.com/manestay/EcXTra で利用可能。

要約(オリジナル)

We propose a two-stage approach for training a single NMT model to translate unseen languages both to and from English. For the first stage, we initialize an encoder-decoder model to pretrained XLM-R and RoBERTa weights, then perform multilingual fine-tuning on parallel data in 40 languages to English. We find this model can generalize to zero-shot translations on unseen languages. For the second stage, we leverage this generalization ability to generate synthetic parallel data from monolingual datasets, then bidirectionally train with successive rounds of back-translation. Our approach, which we EcXTra (English-centric Crosslingual (X) Transfer), is conceptually simple, only using a standard cross-entropy objective throughout. It is also data-driven, sequentially leveraging auxiliary parallel data and monolingual data. We evaluate unsupervised NMT results for 7 low-resource languages, and find that each round of back-translation training further refines bidirectional performance. Our final single EcXTra-trained model achieves competitive translation performance in all translation directions, notably establishing a new state-of-the-art for English-to-Kazakh (22.9 > 10.4 BLEU). Our code is available at https://github.com/manestay/EcXTra .

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI