How Discrete and Continuous Diffusion Meet: Comprehensive Analysis of Discrete Diffusion Models via a Stochastic Integral Framework

要約

離散拡散モデルは、複雑な分布を扱いやすいサンプリングと推論でモデル化できることから注目されている。しかし、離散拡散モデルの誤差解析はまだあまり理解されていない。本研究では、L’evy型確率積分に基づく離散拡散モデルの誤差解析のための包括的な枠組みを提案する。ポアソン確率測度を時間非依存かつ状態依存の強度を持つものに一般化することで、離散拡散モデルの確率積分定式化を厳密に確立し、それに対応する測度変化の定理を提供する。我々の枠組みは、離散拡散モデルに関する現在の理論的結果を統一し、強化し、KL発散における$tau$跳躍スキームに対する最初の誤差境界を得る。誤差の原因が明確に特定されたことで、我々の解析は離散拡散モデルの数学的性質に新たな洞察を与え、実世界の離散拡散モデル応用のための効率的で正確なアルゴリズムの設計に指針を与える。

要約(オリジナル)

Discrete diffusion models have gained increasing attention for their ability to model complex distributions with tractable sampling and inference. However, the error analysis for discrete diffusion models remains less well-understood. In this work, we propose a comprehensive framework for the error analysis of discrete diffusion models based on L\’evy-type stochastic integrals. By generalizing the Poisson random measure to that with a time-independent and state-dependent intensity, we rigorously establish a stochastic integral formulation of discrete diffusion models and provide the corresponding change of measure theorems that are intriguingly analogous to It\^o integrals and Girsanov’s theorem for their continuous counterparts. Our framework unifies and strengthens the current theoretical results on discrete diffusion models and obtains the first error bound for the $\tau$-leaping scheme in KL divergence. With error sources clearly identified, our analysis gives new insight into the mathematical properties of discrete diffusion models and offers guidance for the design of efficient and accurate algorithms for real-world discrete diffusion model applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL