Rethinking Translation Memory Augmented Neural Machine Translation

要約

この論文は、翻訳メモリ拡張ニューラル機械翻訳 (TM 拡張 NMT) を、検索の確率的観点と分散バイアス分解原理の 2 つの観点から再考します。
この発見は、TM 拡張 NMT がデータのフィッティング能力に優れている (つまり、バイアスが低い) 一方で、トレーニング データの変動に対してより敏感である (つまり、分散が高い) ことを示しており、これにより、最近報告された矛盾した現象の説明が得られます。
同じ翻訳タスクにおいて、TM 拡張 NMT は、高リソースのシナリオでは通常の NMT を大幅に進歩させますが、低リソースのシナリオでは失敗します。
次に、差異を促進し、矛盾する現象に対処するために、シンプルだが効果的な TM 拡張 NMT モデルを提案します。
広範な実験により、提案された TM 拡張 NMT は、高リソース シナリオだけでなく、分散が好ましい 2 つのシナリオ (低リソースおよびプラグ アンド プレイ) シナリオの下でも、従来の NMT と既存の TM 拡張 NMT の両方を上回る一貫した利得を達成することが示されています。

要約(オリジナル)

This paper rethinks translation memory augmented neural machine translation (TM-augmented NMT) from two perspectives, i.e., a probabilistic view of retrieval and the variance-bias decomposition principle. The finding demonstrates that TM-augmented NMT is good at the ability of fitting data (i.e., lower bias) but is more sensitive to the fluctuations in the training data (i.e., higher variance), which provides an explanation to a recently reported contradictory phenomenon on the same translation task: TM-augmented NMT substantially advances vanilla NMT under the high-resource scenario whereas it fails under the low-resource scenario. Then we propose a simple yet effective TM-augmented NMT model to promote the variance and address the contradictory phenomenon. Extensive experiments show that the proposed TM-augmented NMT achieves consistent gains over both conventional NMT and existing TM-augmented NMT under two variance-preferable (low-resource and plug-and-play) scenarios as well as the high-resource scenario.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google