Diffusion Schrödinger Bridge with Applications to Score-Based Generative Modeling

要約

タイトル：自己得点生成モデリングへの拡散シュレディンガー橋の応用
要約：

– 複雑なデータ分布は、漸進的に Gaussian noise を適用することで近似的に Gaussian 分布に変換できる。
– 逆の生成モデルを定義するためには、このダイナミックを逆転させる必要がある。
– 前向きのノイズ処理が確率微分方程式（SDE）によって与えられる場合、Song ら（2021）は対応する時系列の SDE の時間非均一なドリフトをスコアマッチングを用いて推定する方法を示している。
– この手法の制限は、最終的な分布が近似的に Gaussian になるように、前向きの SDE を十分に長時間実行する必要があることである。
– 対照的に、Schrödinger Bridge 問題（SB）を解くこと、つまり、経路空間上のエントロピー正規化最適輸送問題を解くことで生成される拡散は、有限時間内にデータ分布のサンプルを生成するためのものである。
– 我々は「Diffusion SB（DSB）」を提案し、SB 問題を解くための方法である反復比例適合（IPF）手順のオリジナルの近似を提供するとともに、理論分析と生成モデルの実験を行った。
– 最初のDSB繰り返しは、Songら（2021）が提案した方法を復元し、その後のDSB繰り返しにより、前向き（および逆）SDEの最終時間周辺分布が事前（およびデータ）分布に対して不一致性が低減される。
– 生成モデリングを超えて、DSBはSinkhornアルゴリズム（Cuturi、2013）の連続状態空間アナログとして、広く適用可能な計算最適輸送ツールを提供する。

要約(オリジナル)

Progressively applying Gaussian noise transforms complex data distributions to approximately Gaussian. Reversing this dynamic defines a generative model. When the forward noising process is given by a Stochastic Differential Equation (SDE), Song et al. (2021) demonstrate how the time inhomogeneous drift of the associated reverse-time SDE may be estimated using score-matching. A limitation of this approach is that the forward-time SDE must be run for a sufficiently long time for the final distribution to be approximately Gaussian. In contrast, solving the Schr\’odinger Bridge problem (SB), i.e. an entropy-regularized optimal transport problem on path spaces, yields diffusions which generate samples from the data distribution in finite time. We present Diffusion SB (DSB), an original approximation of the Iterative Proportional Fitting (IPF) procedure to solve the SB problem, and provide theoretical analysis along with generative modeling experiments. The first DSB iteration recovers the methodology proposed by Song et al. (2021), with the flexibility of using shorter time intervals, as subsequent DSB iterations reduce the discrepancy between the final-time marginal of the forward (resp. backward) SDE with respect to the prior (resp. data) distribution. Beyond generative modeling, DSB offers a widely applicable computational optimal transport tool as the continuous state-space analogue of the popular Sinkhorn algorithm (Cuturi, 2013).

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI