An Adversarial Non-Autoregressive Model for Text Generation with Incomplete Information

要約

非自己回帰モデルは、入力が対応する出力の完全な情報を持つ完全情報シナリオ（CIS）では広く研究されてきた。しかし、不完全情報シナリオ（IIS）での研究は極めて限られている。我々の分析は、IISの不完全な入力情報が、最尤推定の下で訓練された既存の非自己回帰モデルの本質的な限界を増大させることを明らかにした。本論文では、IISのために2つの特徴を持つ逆説的非自己回帰変換器(ANT)を提案する：1)より合理的な隠れ表現を提供するための位置を考慮した自己変調と、2)依存性モデリングの能力を強化するための依存性フィードフォワードネットワークである。ANTをIISの他の主流モデルと比較し、ANTがより少ない復号反復で同等の性能を達成できることを示す。さらに、潜在補間や半教師付き学習のような様々な応用におけるANTの大きな可能性を示す。

要約(オリジナル)

Non-autoregressive models have been widely studied in the Complete Information Scenario (CIS), in which the input has complete information of corresponding output. However, their explorations in the Incomplete Information Scenario (IIS) are extremely limited. Our analyses reveal that the IIS’s incomplete input information will augment the inherent limitations of existing non-autoregressive models trained under Maximum Likelihood Estimation. In this paper, we propose for the IIS an Adversarial Non-autoregressive Transformer (ANT) which has two features: 1) Position-Aware Self-Modulation to provide more reasonable hidden representations, and 2) Dependency Feed Forward Network to strengthen its capacity in dependency modeling. We compare ANT with other mainstream models in the IIS and demonstrate that ANT can achieve comparable performance with much fewer decoding iterations. Furthermore, we show its great potential in various applications like latent interpolation and semi-supervised learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL