On the Design Fundamentals of Diffusion Models: A Survey

要約

拡散モデルは生成モデルであり、ノイズを徐々に追加および削除して、データ生成のためのトレーニング データの基礎となる分布を学習します。
拡散モデルのコンポーネントは、多くの設計選択肢が提案されており、大きな注目を集めています。
既存のレビューは主に高レベルのソリューションに焦点を当てているため、コンポーネントの設計の基礎についてはあまり取り上げられていません。
この研究は、拡散モデルにおけるコンポーネントごとの設計の選択について包括的かつ一貫したレビューを提供することで、このギャップに対処することを目指しています。
具体的には、このレビューを 3 つの主要な構成要素、つまり順方向プロセス、逆方向プロセス、およびサンプリング手順に従って整理します。
これにより、拡散モデルのきめ細かい視点を提供できるようになり、個々のコンポーネントの分析、設計選択の適用性、拡散モデルの実装における将来の研究に役立ちます。

要約(オリジナル)

Diffusion models are generative models, which gradually add and remove noise to learn the underlying distribution of training data for data generation. The components of diffusion models have gained significant attention with many design choices proposed. Existing reviews have primarily focused on higher-level solutions, thereby covering less on the design fundamentals of components. This study seeks to address this gap by providing a comprehensive and coherent review on component-wise design choices in diffusion models. Specifically, we organize this review according to their three key components, namely the forward process, the reverse process, and the sampling procedure. This allows us to provide a fine-grained perspective of diffusion models, benefiting future studies in the analysis of individual components, the applicability of design choices, and the implementation of diffusion models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google