DiffuSeq-v2: Bridging Discrete and Continuous Text Spaces for Accelerated Seq2Seq Diffusion Models

要約

拡散モデルは、高品質のテキスト シーケンスを生成する際に利用されるようになりました。
それにもかかわらず、現在のアプローチは主に連続拡散空間内の個別のテキストを表すため、トレーニング中にかなりの計算オーバーヘッドが発生し、サンプリング速度が遅くなります。
この論文では、基礎となるガウス空間に基づいて離散突然変異を再構築する拡散モデルの学習を容易にするソフト吸収状態を導入し、それによって条件付き信号を回復する能力を強化します。
サンプリング段階では、連続空間内で最先端の ODE ソルバーを使用して、サンプリング プロセスを迅速化します。
包括的な実験評価により、私たちが提案した手法はトレーニングの収束を効果的に 4 倍加速し、同様の品質のサンプルを 800 倍の速さで生成し、実用化に大幅に近づくことが明らかになりました。
\footnote{コードは \url{https://github.com/Shark-NLP/DiffuSeq でリリースされています}

要約(オリジナル)

Diffusion models have gained prominence in generating high-quality sequences of text. Nevertheless, current approaches predominantly represent discrete text within a continuous diffusion space, which incurs substantial computational overhead during training and results in slower sampling speeds. In this paper, we introduce a soft absorbing state that facilitates the diffusion model in learning to reconstruct discrete mutations based on the underlying Gaussian space, thereby enhancing its capacity to recover conditional signals. During the sampling phase, we employ state-of-the-art ODE solvers within the continuous space to expedite the sampling process. Comprehensive experimental evaluations reveal that our proposed method effectively accelerates the training convergence by 4x and generates samples of similar quality 800x faster, rendering it significantly closer to practical application. \footnote{The code is released at \url{https://github.com/Shark-NLP/DiffuSeq}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google