DePA: Improving Non-autoregressive Machine Translation with Dependency-Aware Decoder

要約

非自己回帰機械翻訳 (NAT) モデルは、NAT デコーダーがデコーダー入力内の以前のターゲット トークンに依存しないため、自己回帰翻訳 (AT) モデルよりも翻訳品質が低くなります。
我々は、完全 NAT モデルのデコーダにおけるターゲットの依存関係モデリングを、デコーダのセルフアテンションとデコーダの入力という 2 つの観点から強化する、新規で汎用的な依存関係認識デコーダ (DePA) を提案します。
まず、NAT トレーニングの前に、自己回帰の前方後方事前トレーニング フェーズを提案します。これにより、NAT デコーダーは、最終的な NAT トレーニングに向けて双方向のターゲット依存関係を徐々に学習できるようになります。
次に、新しい注意深い変換プロセスを通じて、デコーダ入力をソース言語表現空間からターゲット言語表現空間に変換します。これにより、デコーダはターゲットの依存関係をより適切に捕捉できるようになります。
DePA は、あらゆる完全 NAT モデルに適用できます。
広範な実験により、DePA は他の完全 NAT モデルと同等の推論レイテンシを維持しながら、広く使用されている WMT および IWSLT ベンチマークで競争力の高い最先端の完全 NAT モデルを最大 1.88 BLEU ゲインで一貫して改善していることが示されています。

要約(オリジナル)

Non-autoregressive machine translation (NAT) models have lower translation quality than autoregressive translation (AT) models because NAT decoders do not depend on previous target tokens in the decoder input. We propose a novel and general Dependency-Aware Decoder (DePA) to enhance target dependency modeling in the decoder of fully NAT models from two perspectives: decoder self-attention and decoder input. First, we propose an autoregressive forward-backward pre-training phase before NAT training, which enables the NAT decoder to gradually learn bidirectional target dependencies for the final NAT training. Second, we transform the decoder input from the source language representation space to the target language representation space through a novel attentive transformation process, which enables the decoder to better capture target dependencies. DePA can be applied to any fully NAT models. Extensive experiments show that DePA consistently improves highly competitive and state-of-the-art fully NAT models on widely used WMT and IWSLT benchmarks by up to 1.88 BLEU gain, while maintaining the inference latency comparable to other fully NAT models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google