Diffusion Glancing Transformer for Parallel Sequence to Sequence Learning

要約

以前は、非自己回帰モデルは生成効率では優れているものの、複数のターゲットモダリティをモデル化することが難しいため、生成品質では劣ると広く認識されていました。
マルチモダリティモデリング能力を強化するために、モダリティ拡散プロセスと残差グランシングサンプリングを採用する拡散グランシングトランスフォーマを提案します。
モダリティ拡散プロセスは、デコード ステップに沿ってマルチモーダル分布を補間する個別のプロセスであり、残差グランシング サンプリング アプローチにより、モデルはレイヤー全体で残りのモダリティを継続的に学習します。
さまざまな機械翻訳およびテキスト生成ベンチマークの実験結果は、DIFFGLAT が自己回帰モデルと非自己回帰モデルの両方と比較して、高速なデコード速度を維持しながら、より優れた生成精度を実現することを示しています。

要約(オリジナル)

Previously, non-autoregressive models were widely perceived as being superior in generation efficiency but inferior in generation quality due to the difficulties of modeling multiple target modalities. To enhance the multi-modality modeling ability, we propose the diffusion glancing transformer, which employs a modality diffusion process and residual glancing sampling. The modality diffusion process is a discrete process that interpolates the multi-modal distribution along the decoding steps, and the residual glancing sampling approach guides the model to continuously learn the remaining modalities across the layers. Experimental results on various machine translation and text generation benchmarks demonstrate that DIFFGLAT achieves better generation accuracy while maintaining fast decoding speed compared with both autoregressive and non-autoregressive models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google