Fast Sampling via De-randomization for Discrete Diffusion Models

要約

拡散モデルは、画像生成などの高品質データ生成のための強力なツールとして登場しました。
連続空間では成功しているにもかかわらず、テキストや自然言語などの領域に適用される離散拡散モデルは依然として研究が不十分であり、多くの場合生成速度が遅いという問題があります。
この論文では、離散拡散モデルの高速化アルゴリズムにつながる、新しい非ランダム化拡散プロセスを提案します。
私たちの技術により、関数評価 (つまり、ニューラル ネットワークへの呼び出し) の数が大幅に削減され、サンプリング プロセスが大幅に高速化されます。
さらに、離散時間 (有限ステップ) のサンプリング アルゴリズムよりもさらに優れたサンプル品質を提供できる連続時間 (つまり、無限ステップ) のサンプリング アルゴリズムを導入します。
自然言語生成および機械翻訳タスクに関する広範な実験により、離散拡散モデルの既存の方法よりも、生成速度とサンプル品質の両方の点で私たちの方法の優れたパフォーマンスが実証されました。

要約(オリジナル)

Diffusion models have emerged as powerful tools for high-quality data generation, such as image generation. Despite its success in continuous spaces, discrete diffusion models, which apply to domains such as texts and natural languages, remain under-studied and often suffer from slow generation speed. In this paper, we propose a novel de-randomized diffusion process, which leads to an accelerated algorithm for discrete diffusion models. Our technique significantly reduces the number of function evaluations (i.e., calls to the neural network), making the sampling process much faster. Furthermore, we introduce a continuous-time (i.e., infinite-step) sampling algorithm that can provide even better sample qualities than its discrete-time (finite-step) counterpart. Extensive experiments on natural language generation and machine translation tasks demonstrate the superior performance of our method in terms of both generation speed and sample quality over existing methods for discrete diffusion models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google