On the Off-Target Problem of Zero-Shot Multilingual Neural Machine Translation

要約

多言語ニューラル機械翻訳は大きな成功を収めていますが、翻訳が間違った言語で行われるという的外れの問題に悩まされています。
この問題は、ゼロショット翻訳タスクでより顕著になります。
この研究では、識別対象言語信号のエンコードに失敗すると対象外が発生し、2 つの言語の語彙間の語彙距離 (つまり、KL 発散) が近いほど対象外率が高くなることがわかりました。
また、デコーダ内で異なる言語の語彙を分離するだけで問題を軽減できることもわかりました。
この発見に動機づけられて、我々は、多言語語彙を構築するためのシンプルで効果的なアルゴリズムである Language Aware Vocabulary Sharing (LAVS) を提案します。これは、言語間の KL の相違を増大させることにより、翻訳モデルのターゲット外の問題を大幅に軽減します。
11言語の多言語機械翻訳ベンチマークの実験を行っています。
実験の結果、90 の翻訳タスクのターゲット外率が 29\% から 8\% に減少し、追加のトレーニング コストや教師付き指示のパフォーマンスを犠牲にすることなく、全体的な BLEU スコアが平均 1.9 ポイント向上することが示されました。
複製用に \href{https://github.com/chenllliang/Off-Target-MNMT}{https://github.com/chenllliang/Off-Target-MNMT} でコードをリリースします。

要約(オリジナル)

While multilingual neural machine translation has achieved great success, it suffers from the off-target issue, where the translation is in the wrong language. This problem is more pronounced on zero-shot translation tasks. In this work, we find that failing in encoding discriminative target language signal will lead to off-target and a closer lexical distance (i.e., KL-divergence) between two languages’ vocabularies is related with a higher off-target rate. We also find that solely isolating the vocab of different languages in the decoder can alleviate the problem. Motivated by the findings, we propose Language Aware Vocabulary Sharing (LAVS), a simple and effective algorithm to construct the multilingual vocabulary, that greatly alleviates the off-target problem of the translation model by increasing the KL-divergence between languages. We conduct experiments on a multilingual machine translation benchmark in 11 languages. Experiments show that the off-target rate for 90 translation tasks is reduced from 29\% to 8\%, while the overall BLEU score is improved by an average of 1.9 points without extra training cost or sacrificing the supervised directions’ performance. We release the code at \href{https://github.com/chenllliang/Off-Target-MNMT}{https://github.com/chenllliang/Off-Target-MNMT} for reproduction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google