Building Normalizing Flows with Stochastic Interpolants

要約

ベース確率密度とターゲット確率密度の任意のペア間の連続時間正規化フローに基づく生成モデルが提案されています。
この流れの速度場は、ベースとターゲットの間を有限時間で補間する時間依存密度の確率電流から推測されます。
ODE ソルバーによるコストのかかる逆伝播を必要とする最尤原理に基づく従来の正規化フロー推定法とは異なり、我々の内挿アプローチは、経験的推定に容易に対応できる期待値で表現される速度自体の単純な二次損失をもたらします。
フローを使用して、ベースまたはターゲットからサンプルを生成し、内挿に沿っていつでも尤度を推定できます。
さらに、フローを最適化して内挿密度のパス長を最小限に抑えることができるため、最適なトランスポート マップを構築する道が開かれます。
ベースがガウス密度である状況では、正規化フローの速度を使用して拡散モデルを構築し、ターゲットをサンプリングしてそのスコアを推定できることも示します。
しかし、私たちのアプローチは、この拡散を完全にバイパスし、確率フローのレベルでより簡単に作業できることを示しており、確率微分方程式に基づく方法の代替として、常微分方程式のみに基づく方法への道を開きます。
密度推定タスクのベンチマークは、学習されたフローがわずかなコストで従来の連続フローに匹敵し、それを上回ることができることを示しており、CIFAR-10 および ImageNet $32\times32$ での画像生成の拡散とよく比較されます。
このメソッドは、ab-initio ODE フローを以前は到達できなかった画像解像度にスケーリングし、最大 $128\times128$ まで実証しました。

要約(オリジナル)

A generative model based on a continuous-time normalizing flow between any pair of base and target probability densities is proposed. The velocity field of this flow is inferred from the probability current of a time-dependent density that interpolates between the base and the target in finite time. Unlike conventional normalizing flow inference methods based the maximum likelihood principle, which require costly backpropagation through ODE solvers, our interpolant approach leads to a simple quadratic loss for the velocity itself which is expressed in terms of expectations that are readily amenable to empirical estimation. The flow can be used to generate samples from either the base or target, and to estimate the likelihood at any time along the interpolant. In addition, the flow can be optimized to minimize the path length of the interpolant density, thereby paving the way for building optimal transport maps. In situations where the base is a Gaussian density, we also show that the velocity of our normalizing flow can also be used to construct a diffusion model to sample the target as well as estimate its score. However, our approach shows that we can bypass this diffusion completely and work at the level of the probability flow with greater simplicity, opening an avenue for methods based solely on ordinary differential equations as an alternative to those based on stochastic differential equations. Benchmarking on density estimation tasks illustrates that the learned flow can match and surpass conventional continuous flows at a fraction of the cost, and compares well with diffusions on image generation on CIFAR-10 and ImageNet $32\times32$. The method scales ab-initio ODE flows to previously unreachable image resolutions, demonstrated up to $128\times128$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google