Fuzzy Alignments in Directed Acyclic Graph for Non-Autoregressive Machine Translation

要約

非自己回帰変換 (NAT) はデコードの待ち時間を短縮しますが、マルチモダリティの問題によりパフォーマンスが低下します。
最近、有向非巡回グラフの構造は、頂点間の依存関係を導入することによってマルチモダリティ問題に取り組む NAT において大きな成功を収めています。
ただし、負の対数尤度損失を使用してトレーニングすると、参照トークンと頂点の間の厳密な調整が暗黙的に必要となり、複数の変換モダリティを処理する能力が弱まります。
この論文では、グラフ内のすべてのパスが参照文とあいまいに位置合わせされているという見解を保持します。
正確な位置合わせは必要ありませんが、すべてのモダリティでキャプチャされた変換を考慮して、グラフと参照の間のあいまいな位置合わせスコアを最大化するようにモデルをトレーニングします。
主要な WMT ベンチマークに関する広範な実験により、私たちの方法が翻訳パフォーマンスを大幅に向上させ、予測の信頼性を高め、生のトレーニング データに対する NAT の新しい最先端技術を確立することが示されました。

要約(オリジナル)

Non-autoregressive translation (NAT) reduces the decoding latency but suffers from performance degradation due to the multi-modality problem. Recently, the structure of directed acyclic graph has achieved great success in NAT, which tackles the multi-modality problem by introducing dependency between vertices. However, training it with negative log-likelihood loss implicitly requires a strict alignment between reference tokens and vertices, weakening its ability to handle multiple translation modalities. In this paper, we hold the view that all paths in the graph are fuzzily aligned with the reference sentence. We do not require the exact alignment but train the model to maximize a fuzzy alignment score between the graph and reference, which takes captured translations in all modalities into account. Extensive experiments on major WMT benchmarks show that our method substantially improves translation performance and increases prediction confidence, setting a new state of the art for NAT on the raw training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google