Improving Language Model Integration for Neural Machine Translation

要約

ニューラル機械翻訳のための言語モデルの統合は、過去に広く研究されてきました。
ターゲット側の追加の単言語データでトレーニングされた外部言語モデルが、翻訳品質の向上に役立つことが示されています。
ただし、翻訳モデルはトレーニング中に暗黙的なターゲット側の言語モデルも学習するため、デコード時に外部言語モデルに干渉するという想定が常にありました。
最近、自動音声認識に関するいくつかの研究で、デコード時に暗黙の言語モデルが無力化されれば、外部言語モデルを統合する際にさらなる改善が得られることが実証されました。
この研究では、この概念を機械翻訳のタスクに移し、追加の単言語データを含める最も有名な方法、つまり逆翻訳と比較します。
暗黙的な言語モデルを考慮すると、言語モデル融合のパフォーマンスが大幅に向上しますが、このアプローチのパフォーマンスは依然として逆変換よりも優れていることがわかりました。

要約(オリジナル)

The integration of language models for neural machine translation has been extensively studied in the past. It has been shown that an external language model, trained on additional target-side monolingual data, can help improve translation quality. However, there has always been the assumption that the translation model also learns an implicit target-side language model during training, which interferes with the external language model at decoding time. Recently, some works on automatic speech recognition have demonstrated that, if the implicit language model is neutralized in decoding, further improvements can be gained when integrating an external language model. In this work, we transfer this concept to the task of machine translation and compare with the most prominent way of including additional monolingual data – namely back-translation. We find that accounting for the implicit language model significantly boosts the performance of language model fusion, although this approach is still outperformed by back-translation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google