Convergence of flow-based generative models via proximal gradient descent in Wasserstein space

要約

フローベースの生成モデルは、データの生成と可能性の計算において一定の利点を享受しており、最近では競争力のある経験的パフォーマンスを示しています。
関連するスコアベースの拡散モデルに関する理論的研究が蓄積されているのに比べ、順方向 (データからノイズ) と逆方向 (ノイズからデータ) の両方の方向で決定論的なフローベースのモデルの分析は、依然としてまばらです。
この論文では、正規化フロー ネットワークに Jordan-Kinderleherer-Otto (JKO) スキームを実装する、漸進的フロー モデル、いわゆる JKO フロー モデルによるデータ分布生成の理論的保証を提供します。
Wasserstein 空間における近位勾配降下法 (GD) の指数関数的収束を利用して、$N \ を使用した場合、JKO フロー モデルによるデータ生成のカルバック・ライブラー (KL) 保証が $O(\varepsilon^2)$ であることを証明します。
lesssim \log (1/\varepsilon)$ 多くの JKO ステップ (フロー内の $N$ の残留ブロック) ここで、$\varepsilon $ はステップごとの一次条件の誤差です。
データ密度に関する仮定は単なる有限の二次モーメントであり、理論は密度のないデータ分布や、KL-$W_2$ 混合誤差保証を得る逆のプロセスで反転誤差がある場合にも拡張されます。
JKO型$W_2$近似GDの非漸近収束率は、KL発散を特殊な場合として含む凸目的汎関数の一般クラスに対して証明されており、独立した関心が持たれ得る。

要約(オリジナル)

Flow-based generative models enjoy certain advantages in computing the data generation and the likelihood, and have recently shown competitive empirical performance. Compared to the accumulating theoretical studies on related score-based diffusion models, analysis of flow-based models, which are deterministic in both forward (data-to-noise) and reverse (noise-to-data) directions, remain sparse. In this paper, we provide a theoretical guarantee of generating data distribution by a progressive flow model, the so-called JKO flow model, which implements the Jordan-Kinderleherer-Otto (JKO) scheme in a normalizing flow network. Leveraging the exponential convergence of the proximal gradient descent (GD) in Wasserstein space, we prove the Kullback-Leibler (KL) guarantee of data generation by a JKO flow model to be $O(\varepsilon^2)$ when using $N \lesssim \log (1/\varepsilon)$ many JKO steps ($N$ Residual Blocks in the flow) where $\varepsilon $ is the error in the per-step first-order condition. The assumption on data density is merely a finite second moment, and the theory extends to data distributions without density and when there are inversion errors in the reverse process where we obtain KL-$W_2$ mixed error guarantees. The non-asymptotic convergence rate of the JKO-type $W_2$-proximal GD is proved for a general class of convex objective functionals that includes the KL divergence as a special case, which can be of independent interest.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google