Using Ornstein-Uhlenbeck Process to understand Denoising Diffusion Probabilistic Model and its Noise Schedules

要約

この短いメモの目的は、非均一離散時間マルコフ過程であるノイズ除去拡散確率モデル DDPM が、不均一にサンプリングされた離散時間で観察される時間均一連続時間マルコフ過程で表現できることを示すことです。
驚くべきことに、この連続時間マルコフ過程は、調和ポテンシャルにおけるブラウン粒子を研究するために 1930 年代に開発された、よく知られ、よく研究されているオーンスタイン オーレンベック (OU) 過程です。
分析ソリューションを使用して、DDPM と OU プロセスの間の形式的な同等性を確立します。
さらに、非均質 DDPM のノイズ スケジューラの設計問題が OU プロセスの観測時間の設計と同等であることを示します。
自己分散やフィッシャー情報などの原則的な量に基づいた観測時間のヒューリスティックな設計をいくつか提示し、それらを DDPM のアドホック ノイズ スケジュールに接続します。
興味深いことに、我々は、フィッシャー情報に基づくスケジュールが、理論的根拠なしに開発された、現在の最先端のノイズ スケジュールであるコサイン スケジュールに正確に対応していることを示します。

要約(オリジナル)

The aim of this short note is to show that Denoising Diffusion Probabilistic Model DDPM, a non-homogeneous discrete-time Markov process, can be represented by a time-homogeneous continuous-time Markov process observed at non-uniformly sampled discrete times. Surprisingly, this continuous-time Markov process is the well-known and well-studied Ornstein-Ohlenbeck (OU) process, which was developed in 1930’s for studying Brownian particles in Harmonic potentials. We establish the formal equivalence between DDPM and the OU process using its analytical solution. We further demonstrate that the design problem of the noise scheduler for non-homogeneous DDPM is equivalent to designing observation times for the OU process. We present several heuristic designs for observation times based on principled quantities such as auto-variance and Fisher Information and connect them to ad hoc noise schedules for DDPM. Interestingly, we show that the Fisher-Information-motivated schedule corresponds exactly the cosine schedule, which was developed without any theoretical foundation but is the current state-of-the-art noise schedule.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google