Diffusion Models in Vision: A Survey

要約

拡散モデルのノイズ除去は、コンピューター ビジョンにおける最近の新たなトピックであり、生成モデリングの分野で顕著な結果を示しています。
拡散モデルは、順拡散段階と逆拡散段階の 2 つの段階に基づく深い生成モデルです。
前方拡散段階では、入力データは、ガウス ノイズを追加することによって、いくつかのステップにわたって徐々に摂動されます。
逆の段階では、モデルは、拡散プロセスを段階的に逆にすることを学習することにより、元の入力データを回復する役割を果たします。
拡散モデルは、既知の計算負荷、つまりサンプリング中に含まれる多数のステップによる低速にもかかわらず、生成されたサンプルの品質と多様性のために広く評価されています。
この調査では、ビジョンに適用されるノイズ除去拡散モデルに関する記事の包括的なレビューを提供します。これには、この分野での理論的および実践的な貢献が含まれます。
まず、ノイズ除去拡散確率モデル、ノイズ調整スコア ネットワーク、および確率微分方程式に基づく 3 つの一般的な拡散モデリング フレームワークを特定して提示します。
拡散モデルと、変分オートエンコーダー、生成的敵対ネットワーク、エネルギーベースのモデル、自己回帰モデル、正規化フローなど、他の深い生成モデルとの関係についてさらに説明します。
次に、コンピューター ビジョンに適用される拡散モデルの多視点分類を紹介します。
最後に、拡散モデルの現在の限界を説明し、将来の研究の興味深い方向性を想定しています。

要約(オリジナル)

Denoising diffusion models represent a recent emerging topic in computer vision, demonstrating remarkable results in the area of generative modeling. A diffusion model is a deep generative model that is based on two stages, a forward diffusion stage and a reverse diffusion stage. In the forward diffusion stage, the input data is gradually perturbed over several steps by adding Gaussian noise. In the reverse stage, a model is tasked at recovering the original input data by learning to gradually reverse the diffusion process, step by step. Diffusion models are widely appreciated for the quality and diversity of the generated samples, despite their known computational burdens, i.e. low speeds due to the high number of steps involved during sampling. In this survey, we provide a comprehensive review of articles on denoising diffusion models applied in vision, comprising both theoretical and practical contributions in the field. First, we identify and present three generic diffusion modeling frameworks, which are based on denoising diffusion probabilistic models, noise conditioned score networks, and stochastic differential equations. We further discuss the relations between diffusion models and other deep generative models, including variational auto-encoders, generative adversarial networks, energy-based models, autoregressive models and normalizing flows. Then, we introduce a multi-perspective categorization of diffusion models applied in computer vision. Finally, we illustrate the current limitations of diffusion models and envision some interesting directions for future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google