Diffusion Models for Non-autoregressive Text Generation: A Survey

要約

非自己回帰 (NAR) テキスト生成は、自然言語処理の分野で大きな注目を集めています。これは、推論の待ち時間を大幅に短縮しますが、生成の精度を犠牲にする必要があります。
最近、潜在変数生成モデルのクラスである拡散モデルがNARテキスト生成に導入され、生成品質が向上しました。
この調査では、NAR テキスト生成のための拡散モデルの最近の進歩を確認します。
背景として、最初に拡散モデルとテキスト拡散モデルの一般的な定義を提示し、次に NAR 生成におけるそれらのメリットについて説明します。
コアコンテンツとして、既存のテキスト拡散作品で主流となっている 2 つの拡散モデルをさらに紹介し、拡散プロセスの主要な設計を見直します。
さらに、テキスト拡散モデルのための事前トレーニング済み言語モデル (PLM) の利用について説明し、テキスト データの最適化手法を紹介します。
最後に、いくつかの有望な方向性について議論し、この論文を締めくくります。
私たちの調査は、NAR 生成のためのテキスト拡散モデルに関する関連研究の体系的な参照を研究者に提供することを目的としています。

要約(オリジナル)

Non-autoregressive (NAR) text generation has attracted much attention in the field of natural language processing, which greatly reduces the inference latency but has to sacrifice the generation accuracy. Recently, diffusion models, a class of latent variable generative models, have been introduced into NAR text generation, showing improved generation quality. In this survey, we review the recent progress in diffusion models for NAR text generation. As the background, we first present the general definition of diffusion models and the text diffusion models, and then discuss their merits for NAR generation. As the core content, we further introduce two mainstream diffusion models in existing text diffusion works, and review the key designs of the diffusion process. Moreover, we discuss the utilization of pre-trained language models (PLMs) for text diffusion models and introduce optimization techniques for text data. Finally, we discuss several promising directions and conclude this paper. Our survey aims to provide researchers with a systematic reference of related research on text diffusion models for NAR generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google