The Missing U for Efficient Diffusion Models

要約

拡散確率モデルは生成モデリングにおける重要なツールとして機能し、複雑なデータ分布の生成を可能にします。
この生成モデル ファミリは、画像合成、ビデオ生成、分子設計などのタスクにおいて記録的なパフォーマンスをもたらします。
これらの機能にもかかわらず、収束速度が遅く、計算コストが高いため、特に逆プロセスにおける効率は依然として課題です。
この論文では、連続動的システムを活用して、よりパラメータ効率が高く、より高速な収束を示し、ノイズ堅牢性の向上を実証する、拡散モデル用の新しいノイズ除去ネットワークを設計するアプローチを紹介します。
ノイズ除去拡散確率モデル (DDPM) を試してみると、私たちのフレームワークは、DDPM の標準 U-Net と比較して、約 4 分の 1 のパラメーターと $\sim$ 30\% の浮動小数点演算 (FLOP) で動作します。
さらに、公平で平等な条件で測定した場合、私たちのモデルはベースラインよりも推論が著しく高速です。
また、私たちが提案する逆プロセスが高速である理由についての数学的直観と​​、下流のノイズ除去タスクにおける経験的トレードオフの数学的議論も提供します。
最後に、私たちの方法は既存のパフォーマンス向上技術と互換性があり、効率、品質、速度のさらなる向上が可能であると主張します。

要約(オリジナル)

Diffusion Probabilistic Models stand as a critical tool in generative modelling, enabling the generation of complex data distributions. This family of generative models yields record-breaking performance in tasks such as image synthesis, video generation, and molecule design. Despite their capabilities, their efficiency, especially in the reverse process, remains a challenge due to slow convergence rates and high computational costs. In this paper, we introduce an approach that leverages continuous dynamical systems to design a novel denoising network for diffusion models that is more parameter-efficient, exhibits faster convergence, and demonstrates increased noise robustness. Experimenting with Denoising Diffusion Probabilistic Models (DDPMs), our framework operates with approximately a quarter of the parameters, and $\sim$ 30\% of the Floating Point Operations (FLOPs) compared to standard U-Nets in DDPMs. Furthermore, our model is notably faster in inference than the baseline when measured in fair and equal conditions. We also provide a mathematical intuition as to why our proposed reverse process is faster as well as a mathematical discussion of the empirical tradeoffs in the denoising downstream task. Finally, we argue that our method is compatible with existing performance enhancement techniques, enabling further improvements in efficiency, quality, and speed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google