What Have We Achieved on Non-autoregressive Translation?

要約

最近の進歩により、非自己回帰 (NAT) 翻訳は自己回帰手法 (AT) と同等になりました。
ただし、BLEU を使用した評価は人間によるアノテーションと弱い相関があることが示されています。
非自己回帰翻訳と自己回帰翻訳を包括的に比較した研究は限られており、NAT と AT の真の近接性については不確実性が残っています。
このギャップに対処するために、私たちは人間の評価を含むさまざまな側面にわたって 4 つの代表的な NAT 方式を体系的に評価します。
私たちの経験的結果は、パフォーマンスのギャップが縮小しているにもかかわらず、より信頼性の高い評価基準の下では、最先端の NAT が依然として AT のパフォーマンスを下回っていることを示しています。
さらに、自然言語を生成し、配布範囲外のシーケンスに一般化するには、依存関係を明示的にモデル化することが重要であることがわかりました。

要約(オリジナル)

Recent advances have made non-autoregressive (NAT) translation comparable to autoregressive methods (AT). However, their evaluation using BLEU has been shown to weakly correlate with human annotations. Limited research compares non-autoregressive translation and autoregressive translation comprehensively, leaving uncertainty about the true proximity of NAT to AT. To address this gap, we systematically evaluate four representative NAT methods across various dimensions, including human evaluation. Our empirical results demonstrate that despite narrowing the performance gap, state-of-the-art NAT still underperforms AT under more reliable evaluation metrics. Furthermore, we discover that explicitly modeling dependencies is crucial for generating natural language and generalizing to out-of-distribution sequences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google