Diffusion Models in Vision: A Survey

要約

ノイズ除去拡散モデルは、コンピュータ ビジョンにおける最近の新たなトピックであり、生成モデリングの分野で顕著な結果を示しています。
拡散モデルは、順拡散段階と逆拡散段階の 2 つの段階に基づく深層生成モデルです。
前方拡散ステージでは、ガウス ノイズを追加することにより、入力データが数ステップにわたって徐々に摂動されます。
逆ステージでは、モデルは拡散プロセスを段階的に徐々に逆転させることを学習することで、元の入力データを復元するタスクを負います。
拡散モデルは、計算負荷、つまりサンプリング中に必要なステップ数が多いため速度が遅いことが知られているにもかかわらず、生成されるサンプルの品質と多様性が広く評価されています。
この調査では、視覚に適用されるノイズ除去拡散モデルに関する論文の包括的なレビューを提供し、この分野での理論的および実践的な貢献を含んでいます。
まず、ノイズ除去拡散確率モデル、ノイズ条件付きスコア ネットワーク、確率微分方程式に基づく 3 つの一般的な拡散モデリング フレームワークを特定して提示します。
さらに、拡散モデルと、変分自動エンコーダ、敵対的生成ネットワーク、エネルギーベースのモデル、自己回帰モデル、フローの正規化などの他の深層生成モデルとの関係についても説明します。
次に、コンピュータ ビジョンに適用される拡散モデルの多視点分類を紹介します。
最後に、拡散モデルの現在の限界を説明し、将来の研究の興味深い方向性をいくつか想定します。

要約(オリジナル)

Denoising diffusion models represent a recent emerging topic in computer vision, demonstrating remarkable results in the area of generative modeling. A diffusion model is a deep generative model that is based on two stages, a forward diffusion stage and a reverse diffusion stage. In the forward diffusion stage, the input data is gradually perturbed over several steps by adding Gaussian noise. In the reverse stage, a model is tasked at recovering the original input data by learning to gradually reverse the diffusion process, step by step. Diffusion models are widely appreciated for the quality and diversity of the generated samples, despite their known computational burdens, i.e. low speeds due to the high number of steps involved during sampling. In this survey, we provide a comprehensive review of articles on denoising diffusion models applied in vision, comprising both theoretical and practical contributions in the field. First, we identify and present three generic diffusion modeling frameworks, which are based on denoising diffusion probabilistic models, noise conditioned score networks, and stochastic differential equations. We further discuss the relations between diffusion models and other deep generative models, including variational auto-encoders, generative adversarial networks, energy-based models, autoregressive models and normalizing flows. Then, we introduce a multi-perspective categorization of diffusion models applied in computer vision. Finally, we illustrate the current limitations of diffusion models and envision some interesting directions for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google