Blackout Diffusion: Generative Diffusion Models in Discrete-State Spaces

要約

一般的な生成拡散モデルは、ガウス拡散プロセスに依存して逆方向変換をトレーニングし、その後、ガウス ノイズからサンプルを生成するために使用できます。
ただし、現実世界のデータは、多くの科学アプリケーションを含め、離散状態空間で発生することがよくあります。
ここでは、(変分ではなく) 正確な解析を使用して、順拡散過程における任意の離散状態マルコフ過程の理論的定式化を開発します。
我々は、この理論を既存の連続状態ガウス拡散および離散拡散への他のアプローチに関連付け、連続時間設定における対応する逆時間確率過程とスコア関数、および離散状態における逆時間マッピングを特定します。
時間設定。
このフレームワークの例として、ノイズではなく空の画像からサンプルを生成することを学習する「Blackout Diffusion」を紹介します。
CIFAR-10、バイナリ化された MNIST、および CelebA データセットでの数値実験により、私たちのアプローチの実現可能性が確認されました。
変分近似を行わずに特定の (ガウス) 順過程から離散状態過程まで一般化すると、拡散モデルを解釈する方法が明らかになり、これについて説明します。

要約(オリジナル)

Typical generative diffusion models rely on a Gaussian diffusion process for training the backward transformations, which can then be used to generate samples from Gaussian noise. However, real world data often takes place in discrete-state spaces, including many scientific applications. Here, we develop a theoretical formulation for arbitrary discrete-state Markov processes in the forward diffusion process using exact (as opposed to variational) analysis. We relate the theory to the existing continuous-state Gaussian diffusion as well as other approaches to discrete diffusion, and identify the corresponding reverse-time stochastic process and score function in the continuous-time setting, and the reverse-time mapping in the discrete-time setting. As an example of this framework, we introduce “Blackout Diffusion”, which learns to produce samples from an empty image instead of from noise. Numerical experiments on the CIFAR-10, Binarized MNIST, and CelebA datasets confirm the feasibility of our approach. Generalizing from specific (Gaussian) forward processes to discrete-state processes without a variational approximation sheds light on how to interpret diffusion models, which we discuss.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google