Stochastic Interpolants: A Unifying Framework for Flows and Diffusions

要約

フローベースと拡散ベースの方法を統合する生成モデルのクラスが導入されています。
これらのモデルは、Albergo & Vanden-Eijnden (2023) で提案されたフレームワークを拡張し、「確率補間」と呼ばれる幅広いクラスの連続時間確率過程を使用して、任意の 2 つの任意の確率密度関数を有限時間で正確に橋渡しすることを可能にします。
これらの内挿は、2 つの所定の密度からのデータを、ブリッジを柔軟な方法で形成する追加の潜在変数と組み合わせることによって構築されます。
確率内挿の時間依存確率密度関数は、一次輸送方程式と、調整可能な拡散を伴う前方および後方フォッカー プランク方程式の族を満たすことが示されています。
個々のサンプルの時間発展を考慮すると、この観点から、ノイズのレベルを調整できる確率フロー方程式または確率微分方程式に基づく決定論的モデルと確率論的生成モデルの両方が即座に導き出されます。
これらのモデルに入力されるドリフト係数は、単純な二次目的関数の固有の最小値として特徴付けられる時間依存の速度場であり、そのうちの 1 つは内挿密度のスコアの新しい目的関数です。
驚くべきことに、これらの二次目的の最小化が、確率力学に基づいて構築された生成モデルの可能性の制御につながることを示しています。
対照的に、決定論的ダイナミクスに基づく生成モデルは、さらに、ターゲットとモデルの間のフィッシャーの発散を制御する必要があることを確立します。
また、内挿ベースの生成モデルの可能性と交差エントロピーの推定量を構築し、他の確率的ブリッジとの接続について説明し、内挿を明示的に最適化すると、そのようなモデルが 2 つのターゲット密度間の Schr\’odinger ブリッジを回復することを示します。

要約(オリジナル)

A class of generative models that unifies flow-based and diffusion-based methods is introduced. These models extend the framework proposed in Albergo & Vanden-Eijnden (2023), enabling the use of a broad class of continuous-time stochastic processes called `stochastic interpolants’ to bridge any two arbitrary probability density functions exactly in finite time. These interpolants are built by combining data from the two prescribed densities with an additional latent variable that shapes the bridge in a flexible way. The time-dependent probability density function of the stochastic interpolant is shown to satisfy a first-order transport equation as well as a family of forward and backward Fokker-Planck equations with tunable diffusion. Upon consideration of the time evolution of an individual sample, this viewpoint immediately leads to both deterministic and stochastic generative models based on probability flow equations or stochastic differential equations with an adjustable level of noise. The drift coefficients entering these models are time-dependent velocity fields characterized as the unique minimizers of simple quadratic objective functions, one of which is a new objective for the score of the interpolant density. Remarkably, we show that minimization of these quadratic objectives leads to control of the likelihood for any of our generative models built upon stochastic dynamics. By contrast, we establish that generative models based upon a deterministic dynamics must, in addition, control the Fisher divergence between the target and the model. We also construct estimators for the likelihood and the cross-entropy of interpolant-based generative models, discuss connections with other stochastic bridges, and demonstrate that such models recover the Schr\’odinger bridge between the two target densities when explicitly optimizing over the interpolant.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google