Fast Inference in Denoising Diffusion Models via MMD Finetuning

要約

ノイズ除去拡散モデル (DDM) は、複雑なデータ分布から高品質のサンプルを生成するための一般的なツールになりました。
これらのモデルは、データ内の洗練されたパターンと構造を捉えることができ、非常に多様で根底にある分布を代表するサンプルを生成できます。
ただし、拡散モデルの主な制限の 1 つは、サンプル生成の複雑さです。これは、データ分布を忠実にキャプチャするために多数の推論タイムステップが必要になるためです。
この論文では、拡散モデルの高速サンプリングのための新しい方法であるMMD-DDMを紹介します。
私たちのアプローチは、最大平均不一致 (MMD) を使用して、与えられた時間ステップの予算で学習した分布を微調整するという考えに基づいています。
これにより、微調整されたモデルは、少ないステップで推論体制の忠実度を大幅に向上させるか、または同等に、目標の忠実度に到達するために必要なステップ数を減らすことにより、速度と品質のトレードオフを大幅に改善できます。
幅広いアプリケーションでの拡散モデルの実用的な採用。
CIFAR-10、CelebA、ImageNet、LSUN-Church データセットにわたる広範な実験により、無条件の画像生成に関するアプローチを評価します。
私たちの調査結果は、提案された方法が、広く使用されている拡散モデルに必要な時間の何分の一かで高品質のサンプルを生成できることを示しており、高速サンプリングの最先端技術よりも優れています。
コードは https://github.com/diegovalsesia/MMD-DDM で入手できます。

要約(オリジナル)

Denoising Diffusion Models (DDMs) have become a popular tool for generating high-quality samples from complex data distributions. These models are able to capture sophisticated patterns and structures in the data, and can generate samples that are highly diverse and representative of the underlying distribution. However, one of the main limitations of diffusion models is the complexity of sample generation, since a large number of inference timesteps is required to faithfully capture the data distribution. In this paper, we present MMD-DDM, a novel method for fast sampling of diffusion models. Our approach is based on the idea of using the Maximum Mean Discrepancy (MMD) to finetune the learned distribution with a given budget of timesteps. This allows the finetuned model to significantly improve the speed-quality trade-off, by substantially increasing fidelity in inference regimes with few steps or, equivalently, by reducing the required number of steps to reach a target fidelity, thus paving the way for a more practical adoption of diffusion models in a wide range of applications. We evaluate our approach on unconditional image generation with extensive experiments across the CIFAR-10, CelebA, ImageNet and LSUN-Church datasets. Our findings show that the proposed method is able to produce high-quality samples in a fraction of the time required by widely-used diffusion models, and outperforms state-of-the-art techniques for accelerated sampling. Code is available at: https://github.com/diegovalsesia/MMD-DDM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google