A Unified Approach to Analysis and Design of Denoising Markov Models

要約

拡散モデルや流れベースのモデルなどの測定輸送に基づく確率的生成モデルは、多くの場合、マルコフの確率的ダイナミクスの言語で定式化されます。そこでは、基礎となるプロセスの選択がアルゴリズムの設計の選択と理論分​​析の両方に影響します。
この論文では、マルコフモデルを除去するための厳密な数学的基盤を確立することを目指しています。マルコフモデルは、ターゲット分布からシンプルで簡単な分布に移行する順方向プロセスを仮定し、特に逆方向に効率的なサンプリングを可能にするために構築された後方プロセスを仮定することを目指しています。
非平衡統計力学と一般化されたDoobの$ h $ transformとの深いつながりを活用すると、次のことを保証する最小限の仮定セットを提案します。
私たちのフレームワークは、連続的で離散的な拡散モデルの既存の定式化を統合し、順方向ジェネレーターの特定の規則性の仮定の下で最も一般的な形式のマルコフモデルの最も一般的な形式を識別し、任意のL \ ‘Evy-Typeプロセスによって駆動されるマルコフモデルを除去するマルコフモデルを設計するための体系的なレシピを提供します。
幾何学的なブラウン運動とジャンププロセスを順方向のダイナミクスとして使用する新しい除生マルコフモデルを通じて、アプローチの汎用性と実用的な有効性を説明し、複雑な分布をモデル化する潜在的な柔軟性と能力を強調します。

要約(オリジナル)

Probabilistic generative models based on measure transport, such as diffusion and flow-based models, are often formulated in the language of Markovian stochastic dynamics, where the choice of the underlying process impacts both algorithmic design choices and theoretical analysis. In this paper, we aim to establish a rigorous mathematical foundation for denoising Markov models, a broad class of generative models that postulate a forward process transitioning from the target distribution to a simple, easy-to-sample distribution, alongside a backward process particularly constructed to enable efficient sampling in the reverse direction. Leveraging deep connections with nonequilibrium statistical mechanics and generalized Doob’s $h$-transform, we propose a minimal set of assumptions that ensure: (1) explicit construction of the backward generator, (2) a unified variational objective directly minimizing the measure transport discrepancy, and (3) adaptations of the classical score-matching approach across diverse dynamics. Our framework unifies existing formulations of continuous and discrete diffusion models, identifies the most general form of denoising Markov models under certain regularity assumptions on forward generators, and provides a systematic recipe for designing denoising Markov models driven by arbitrary L\’evy-type processes. We illustrate the versatility and practical effectiveness of our approach through novel denoising Markov models employing geometric Brownian motion and jump processes as forward dynamics, highlighting the framework’s potential flexibility and capability in modeling complex distributions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google