DiffuSeq: Sequence to Sequence Text Generation with Diffusion Models

要約

最近、生成モデルの新しいパラダイムとして拡散モデルが登場しました。
視覚や音声などの連続信号を使用するドメインでの成功にもかかわらず、拡散モデルを自然言語に適応させることは、特に条件付き生成の場合、テキストの離散的な性質のために十分に検討されていません。
DiffuSeq: シーケンスからシーケンス (Seq2Seq) テキスト生成タスク用に設計された拡散モデルを提案することで、この課題に取り組みます。
幅広い Seq2Seq タスクで広範な評価を行った結果、DiffuSeq は、事前にトレーニングされた言語モデルに基づく最先端のモデルを含む、確立された 6 つのベースラインと同等またはそれ以上のパフォーマンスを達成していることがわかりました。
品質とは別に、DiffuSeq の興味深い特性は、多くの Seq2Seq タスクで望まれる、生成中の高い多様性です。
さらに、DiffuSeq と自己回帰/非自己回帰モデルとの関係を明らかにする理論的分析を含めます。
理論的分析と経験的証拠をまとめて、複雑な条件付き言語生成タスクにおける拡散モデルの大きな可能性を示します。
コードは \url{https://github.com/Shark-NLP/DiffuSeq} で入手できます

要約(オリジナル)

Recently, diffusion models have emerged as a new paradigm for generative models. Despite the success in domains using continuous signals such as vision and audio, adapting diffusion models to natural language is under-explored due to the discrete nature of texts, especially for conditional generation. We tackle this challenge by proposing DiffuSeq: a diffusion model designed for sequence-to-sequence (Seq2Seq) text generation tasks. Upon extensive evaluation over a wide range of Seq2Seq tasks, we find DiffuSeq achieving comparable or even better performance than six established baselines, including a state-of-the-art model that is based on pre-trained language models. Apart from quality, an intriguing property of DiffuSeq is its high diversity during generation, which is desired in many Seq2Seq tasks. We further include a theoretical analysis revealing the connection between DiffuSeq and autoregressive/non-autoregressive models. Bringing together theoretical analysis and empirical evidence, we demonstrate the great potential of diffusion models in complex conditional language generation tasks. Code is available at \url{https://github.com/Shark-NLP/DiffuSeq}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google