Score-based Continuous-time Discrete Diffusion Models

要約

確率微分方程式（SDE）によるスコアベースのモデリングは、拡散モデルに新たな視点を提供し、連続データに対して優れた性能を発揮している。しかし、対数尤度関数の勾配、すなわちスコア関数は、離散空間では正しく定義されていません。このため、⾊⾊のスコアベースモデリングをカテゴリデータに適応することは非自明である。本論文では、拡散モデルを離散変数に拡張し、連続時間マルコフ連鎖によって逆過程がノイズになる確率的ジャンプ過程を導入することで、拡散モデルを拡張する。この定式化により、バックワードサンプリング時の解析的なシミュレーションが可能になる。逆過程を学習するために、スコアマッチングを一般的なカテゴリーデータに拡張し、条件付き限界分布の単純なマッチングによって不偏推定量を得ることができることを示す。提案手法の有効性を、合成および実世界の音楽と画像のベンチマークセットで実証する。

要約(オリジナル)

Score-based modeling through stochastic differential equations (SDEs) has provided a new perspective on diffusion models, and demonstrated superior performance on continuous data. However, the gradient of the log-likelihood function, i.e., the score function, is not properly defined for discrete spaces. This makes it non-trivial to adapt \textcolor{\cdiff}{the score-based modeling} to categorical data. In this paper, we extend diffusion models to discrete variables by introducing a stochastic jump process where the reverse process denoises via a continuous-time Markov chain. This formulation admits an analytical simulation during backward sampling. To learn the reverse process, we extend score matching to general categorical data and show that an unbiased estimator can be obtained via simple matching of the conditional marginal distributions. We demonstrate the effectiveness of the proposed method on a set of synthetic and real-world music and image benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL