InfoDiffusion: Information Entropy Aware Diffusion Process for Non-Autoregressive Text Generation

要約

拡散モデルは、テキスト生成の分野で大きな関心を集めています。
いくつかの研究では、さまざまな構造を持つテキスト拡散モデルを調査し、それらを固有表現の認識や要約などのさまざまなタスクに適用しています。
しかし、現在の普及モデルの「イージーファースト」テキスト生成プロセスと、あまり注目されていない人間の「キーワードファースト」自然テキスト生成プロセスとの間には、顕著な差異が存在する。
このギャップを埋めるために、非自己回帰テキスト拡散モデルである InfoDiffusion を提案します。
私たちのアプローチでは、「keyinfo-first」生成戦略が導入され、テキスト情報の量に基づいたノイズ スケジュールが組み込まれています。
さらに、InfoDiffusion は、セルフコンディショニングと新しく提案された部分ノイズ モデル構造を組み合わせています。
実験結果は、InfoDiffusion が生成品質と多様性の点でベースライン モデルよりも優れており、より高いサンプリング効率を示していることを示しています。

要約(オリジナル)

Diffusion models have garnered considerable interest in the field of text generation. Several studies have explored text diffusion models with different structures and applied them to various tasks, including named entity recognition and summarization. However, there exists a notable disparity between the ‘easy-first’ text generation process of current diffusion models and the ‘keyword-first’ natural text generation process of humans, which has received limited attention. To bridge this gap, we propose InfoDiffusion, a non-autoregressive text diffusion model. Our approach introduces a ‘keyinfo-first’ generation strategy and incorporates a noise schedule based on the amount of text information. In addition, InfoDiffusion combines self-conditioning with a newly proposed partially noising model structure. Experimental results show that InfoDiffusion outperforms the baseline model in terms of generation quality and diversity, as well as exhibiting higher sampling efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google