A Survey on Non-Autoregressive Generation for Neural Machine Translation and Beyond

要約

非自己回帰 (NAR) 生成は、推論を高速化するためにニューラル機械翻訳 (NMT) で初めて提案され、機械学習と自然言語処理の両方のコミュニティで大きな注目を集めています。
NAR 生成は機械翻訳の推論速度を大幅に高速化できますが、高速化には対応する自動回帰 (AR) 生成と比較して翻訳精度が犠牲になります。
近年、NAR 生成と AR 生成の間の精度のギャップを埋めるために、多くの新しいモデルやアルゴリズムが設計/提案されています。
この論文では、さまざまな非自己回帰翻訳 (NAT) モデルをさまざまな側面から比較および議論する体系的な調査を実施します。
具体的には、NAT の取り組みを、データ操作、モデリング方法、トレーニング基準、デコード アルゴリズム、事前トレーニングされたモデルからの利点など、いくつかのグループに分類します。
さらに、文法エラー修正、テキスト要約、テキスト スタイル転送、対話、意味解析、自動音声認識など、機械翻訳を超えた NAR モデルの他のアプリケーションについて簡単にレビューします。
さらに、KD の依存関係の解放、合理的なトレーニング目標、NAR の事前トレーニング、より広範な応用など、将来の探索の潜在的な方向性についても説明します。この調査が、研究者が NAR 生成の最新の進歩を把握するのに役立つことを願っています。
高度な NAR モデルとアルゴリズムの設計を刺激し、業界の専門家がアプリケーションに適切なソリューションを選択できるようにします。
この調査の Web ページは \url{https://github.com/LitterBrother-Xiao/Overview-of-Non-autoregressive-Applications} にあります。

要約(オリジナル)

Non-autoregressive (NAR) generation, which is first proposed in neural machine translation (NMT) to speed up inference, has attracted much attention in both machine learning and natural language processing communities. While NAR generation can significantly accelerate inference speed for machine translation, the speedup comes at the cost of sacrificed translation accuracy compared to its counterpart, autoregressive (AR) generation. In recent years, many new models and algorithms have been designed/proposed to bridge the accuracy gap between NAR generation and AR generation. In this paper, we conduct a systematic survey with comparisons and discussions of various non-autoregressive translation (NAT) models from different aspects. Specifically, we categorize the efforts of NAT into several groups, including data manipulation, modeling methods, training criterion, decoding algorithms, and the benefit from pre-trained models. Furthermore, we briefly review other applications of NAR models beyond machine translation, such as grammatical error correction, text summarization, text style transfer, dialogue, semantic parsing, automatic speech recognition, and so on. In addition, we also discuss potential directions for future exploration, including releasing the dependency of KD, reasonable training objectives, pre-training for NAR, and wider applications, etc. We hope this survey can help researchers capture the latest progress in NAR generation, inspire the design of advanced NAR models and algorithms, and enable industry practitioners to choose appropriate solutions for their applications. The web page of this survey is at \url{https://github.com/LitterBrother-Xiao/Overview-of-Non-autoregressive-Applications}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google