SeqDiffuSeq: Text Diffusion with Encoder-Decoder Transformers

要約

新しい生成モデリング パラダイムである拡散モデルは、画像、オーディオ、ビデオの生成において大きな成功を収めています。
ただし、テキストの離散カテゴリ的な性質を考慮すると、連続拡散モデルを自然言語に拡張することは簡単ではなく、テキスト拡散モデルはあまり研究されていません。
シーケンスツーシーケンスのテキスト生成は、自然言語処理の重要なトピックの 1 つです。
この研究では、拡散モデルを適用してシーケンス間のテキスト生成にアプローチし、拡散モデルの優位性生成パフォーマンスが自然言語ドメインに移行できるかどうかを調査します。
シーケンス間の生成のためのテキスト拡散モデルである SeqDiffuSeq を提案します。
SeqDiffuSeq は、エンコーダ/デコーダ Transformers アーキテクチャを使用してノイズ除去関数をモデル化します。
生成品質を向上させるために、SeqDiffuSeq はセルフコンディショニング技術と新しく提案された適応ノイズ スケジュール技術を組み合わせています。
適応ノイズ スケジュールには、タイム ステップ全体に均等に分散されたノイズを除去することが困難であり、異なる位置順序のトークンに対して排他的なノイズ スケジュールを考慮します。
実験結果は、テキストの品質と推論時間の観点から、シーケンス間の生成で優れたパフォーマンスを示しています。

要約(オリジナル)

Diffusion model, a new generative modelling paradigm, has achieved great success in image, audio, and video generation. However, considering the discrete categorical nature of text, it is not trivial to extend continuous diffusion models to natural language, and text diffusion models are less studied. Sequence-to-sequence text generation is one of the essential natural language processing topics. In this work, we apply diffusion models to approach sequence-to-sequence text generation, and explore whether the superiority generation performance of diffusion model can transfer to natural language domain. We propose SeqDiffuSeq, a text diffusion model for sequence-to-sequence generation. SeqDiffuSeq uses an encoder-decoder Transformers architecture to model denoising function. In order to improve generation quality, SeqDiffuSeq combines the self-conditioning technique and a newly proposed adaptive noise schedule technique. The adaptive noise schedule has the difficulty of denoising evenly distributed across time steps, and considers exclusive noise schedules for tokens at different positional order. Experiment results illustrate the good performance on sequence-to-sequence generation in terms of text quality and inference time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google