Bridging discrete and continuous state spaces: Exploring the Ehrenfest process in time-continuous diffusion models

要約

確率過程による生成モデリングは、近年の理論的理解の進展とともに、顕著な経験的結果をもたらしている。確率過程の空間と時間は離散的であっても連続的であってもよい。本研究では、離散状態空間上の時間連続マルコフ・ジャンプ過程を研究し、SDEで与えられる状態連続拡散過程との対応を調べる。特に、無限状態空間極限でOrnstein-Uhlenbeck過程に収束する$textit{Ehrenfest過程}$を再検討する。同様に、エーレンフェスト過程の時間反転は、時間反転したオーンスタイン・ウーレンベック過程に収束することを示すことができる。この観測は離散と連続の状態空間を橋渡しするものであり、一方から他方への手法の継承を可能にする。さらに、マルコフジャンプ過程の時間反転を学習するアルゴリズムを提案する。これは条件付き期待値に依存するため、ノイズ除去スコアマッチングに直接関連付けることができる。我々は、説得力のある複数の数値実験により、我々の手法を実証する。

要約(オリジナル)

Generative modeling via stochastic processes has led to remarkable empirical results as well as to recent advances in their theoretical understanding. In principle, both space and time of the processes can be discrete or continuous. In this work, we study time-continuous Markov jump processes on discrete state spaces and investigate their correspondence to state-continuous diffusion processes given by SDEs. In particular, we revisit the $\textit{Ehrenfest process}$, which converges to an Ornstein-Uhlenbeck process in the infinite state space limit. Likewise, we can show that the time-reversal of the Ehrenfest process converges to the time-reversed Ornstein-Uhlenbeck process. This observation bridges discrete and continuous state spaces and allows to carry over methods from one to the respective other setting. Additionally, we suggest an algorithm for training the time-reversal of Markov jump processes which relies on conditional expectations and can thus be directly related to denoising score matching. We demonstrate our methods in multiple convincing numerical experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL