Stochastic Interpolants: A Unifying Framework for Flows and Diffusions

要約

Albergo & Vanden-Eijnden (2023) で提案された確率的補間フレームワークに基づく生成モデルのクラスを紹介します。これは、フローベースと拡散ベースの方法を統合します。
最初に、時間依存の確率密度関数が 2 つの任意の密度を有限時間で正確に橋渡しする、幅広いクラスの連続時間確率過程を構築する方法を示します。
これらの「確率内挿法」は、2 つの密度からのデータを追加の潜在変数と組み合わせることによって構築され、構築の特定の詳細を利用して、結果として得られる時間依存の密度を柔軟な方法で形作ることができます。
次に、確率的内挿の時間依存密度が、一次輸送方程式と、調整可能な拡散を伴う前方および後方フォッカープランク方程式の族を満たすことを示します。
個々のサンプルの時間発展を考慮すると、この観点から、確率フロー方程式または調整可能なレベルのノイズを含む確率微分方程式に基づく決定論的および確率論的生成モデルの両方がすぐに導かれます。
これらのモデルに入力されるドリフト係数は、単純な二次目的関数の固有の最小値として特徴付けられる時間依存の速度場であり、そのうちの 1 つは内挿密度のスコアの新しい目的関数です。
驚くべきことに、これらの二次目的の最小化は、確率力学に基づいて構築された生成モデルの可能性の制御につながることを示しています。
対照的に、決定論的ダイナミクスに基づく生成モデルは、さらに、ターゲットとモデルの間のフィッシャーの発散を制御する必要があることを示しています。
最後に、内挿ベースの生成モデルの尤度と交差エントロピーの推定量を構築し、内挿を明示的に最適化すると、そのようなモデルが 2 つのターゲット密度間の Schr\’odinger ブリッジを回復することを示します。

要約(オリジナル)

We introduce a class of generative models based on the stochastic interpolant framework proposed in Albergo & Vanden-Eijnden (2023) that unifies flow-based and diffusion-based methods. We first show how to construct a broad class of continuous-time stochastic processes whose time-dependent probability density function bridges two arbitrary densities exactly in finite time. These `stochastic interpolants’ are built by combining data from the two densities with an additional latent variable, and the specific details of the construction can be leveraged to shape the resulting time-dependent density in a flexible way. We then show that the time-dependent density of the stochastic interpolant satisfies a first-order transport equation as well as a family of forward and backward Fokker-Planck equations with tunable diffusion; upon consideration of the time evolution of an individual sample, this viewpoint immediately leads to both deterministic and stochastic generative models based on probability flow equations or stochastic differential equations with a tunable level of noise. The drift coefficients entering these models are time-dependent velocity fields characterized as the unique minimizers of simple quadratic objective functions, one of which is a new objective for the score of the interpolant density. Remarkably, we show that minimization of these quadratic objectives leads to control of the likelihood for generative models built upon stochastic dynamics; by contrast, we show that generative models based upon a deterministic dynamics must, in addition, control the Fisher divergence between the target and the model. Finally, we construct estimators for the likelihood and the cross-entropy of interpolant-based generative models, and demonstrate that such models recover the Schr\’odinger bridge between the two target densities when explicitly optimizing over the interpolant.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google