Combining Wasserstein-1 and Wasserstein-2 proximals: robust manifold learning via well-posed generative flows

要約

$f$ダイバージェンスのWasserstein近接正則化を通じて低次元多様体上でサポートされる学習分布のための、適切に設定された連続時間生成フローを定式化します。
Wasserstein-1 近似演算子は、特異分布を比較できるように $f$-divergences を正規化します。
一方、Wasserstein-2 近位演算子は、最適な輸送コスト、つまり運動エネルギーペナルティを追加することにより、生成フローの経路を正規化します。
平均場ゲーム理論を通じて、適切に設定された生成フローを定式化するには 2 つの近似値の組み合わせが重要であることを示します。
生成フローは、平均場ゲーム (MFG)、後方向ハミルトン・ヤコビ (HJ) システム、および最適な生成フローを特徴付ける解をもつ順方向連続偏微分方程式 (PDE) の最適性条件を通じて解析できます。
低次元多様体でサポートされる学習分布の場合、MFG 理論は、HJ 終端条件に対処する Wasserstein-1 近位と、HJ ダイナミクスに対処する Wasserstein-2 近位の両方が、対応する後方学習に必要であることを示しています。
– 順偏微分方程式システムは明確に定義され、直線的な流れの軌跡を示す独自のソリューションを備えている必要があります。
これは、対応する生成フローも固有であり、したがって、低次元多様体でサポートされる高次元分布を学習する場合でも、堅牢な方法で学習できることを意味します。
生成フローは、連続時間フローの敵対的トレーニングを通じて学習され、リバース シミュレーションの必要性が回避されます。
私たちは、オートエンコーダーや特殊なアーキテクチャに頼ることなく、高次元画像を生成するアプローチの有効性を実証します。

要約(オリジナル)

We formulate well-posed continuous-time generative flows for learning distributions that are supported on low-dimensional manifolds through Wasserstein proximal regularizations of $f$-divergences. Wasserstein-1 proximal operators regularize $f$-divergences so that singular distributions can be compared. Meanwhile, Wasserstein-2 proximal operators regularize the paths of the generative flows by adding an optimal transport cost, i.e., a kinetic energy penalization. Via mean-field game theory, we show that the combination of the two proximals is critical for formulating well-posed generative flows. Generative flows can be analyzed through optimality conditions of a mean-field game (MFG), a system of a backward Hamilton-Jacobi (HJ) and a forward continuity partial differential equations (PDEs) whose solution characterizes the optimal generative flow. For learning distributions that are supported on low-dimensional manifolds, the MFG theory shows that the Wasserstein-1 proximal, which addresses the HJ terminal condition, and the Wasserstein-2 proximal, which addresses the HJ dynamics, are both necessary for the corresponding backward-forward PDE system to be well-defined and have a unique solution with provably linear flow trajectories. This implies that the corresponding generative flow is also unique and can therefore be learned in a robust manner even for learning high-dimensional distributions supported on low-dimensional manifolds. The generative flows are learned through adversarial training of continuous-time flows, which bypasses the need for reverse simulation. We demonstrate the efficacy of our approach for generating high-dimensional images without the need to resort to autoencoders or specialized architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google