RenewNAT: Renewing Potential Translation for Non-Autoregressive Transformer

要約

非自己回帰ニューラル機械翻訳 (NAT) モデルは、比較的高いパフォーマンスを維持しながら推論プロセスを加速するために提案されています。
ただし、既存の NAT モデルでは、望ましい効率と品質のトレードオフを実現することは困難です。
1 つには、効率的な推論を備えた完全な NAT モデルは、自己回帰モデルよりもパフォーマンスが劣ります。
ただし、別の反復 NAT モデルは、速度の利点を減らしながら、同等のパフォーマンスを達成できます。
このホワイト ペーパーでは、完全かつ反復的な NAT モデルのメリットを組み込むために、高い効率性と有効性を備えた柔軟なフレームワークである RenewNAT を提案します。
RenewNAT は、最初に潜在的な翻訳結果を生成し、次にそれらを 1 回のパスで更新します。
従来の NAT モデルと同じコストで (追加のモデル パラメーターやデコード レイテンシを導入することなく)、パフォーマンスを大幅に向上させることができます。
さまざまな翻訳ベンチマーク (\textbf{4} WMT など) での実験結果は、フレームワークが強力な完全 NAT メソッド (GLAT や DSLP など) のパフォーマンスを追加の速度オーバーヘッドなしで一貫して改善することを示しています。

要約(オリジナル)

Non-autoregressive neural machine translation (NAT) models are proposed to accelerate the inference process while maintaining relatively high performance. However, existing NAT models are difficult to achieve the desired efficiency-quality trade-off. For one thing, fully NAT models with efficient inference perform inferior to their autoregressive counterparts. For another, iterative NAT models can, though, achieve comparable performance while diminishing the advantage of speed. In this paper, we propose RenewNAT, a flexible framework with high efficiency and effectiveness, to incorporate the merits of fully and iterative NAT models. RenewNAT first generates the potential translation results and then renews them in a single pass. It can achieve significant performance improvements at the same expense as traditional NAT models (without introducing additional model parameters and decoding latency). Experimental results on various translation benchmarks (e.g., \textbf{4} WMT) show that our framework consistently improves the performance of strong fully NAT methods (e.g., GLAT and DSLP) without additional speed overhead.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google