Aligning Latent Spaces with Flow Priors

要約

このペーパーでは、流れベースの生成モデルを事前に活用することにより、学習可能な潜在スペースを任意のターゲット分布に合わせるための新しいフレームワークを紹介します。
私たちの方法は、最初にターゲット機能のフローモデルを前提としており、基礎となる分布をキャプチャします。
その後、この固定フローモデルは、アライメント損失を介して潜在スペースを正規化します。これは、潜在性を最適化ターゲットとして扱うためにフローの一致する目的を再定式化します。
このアライメント損失を最小化することで、ターゲット分布の下での潜在性の対数尤度に関する変動下限を最大化するための計算上の牽引可能な代理目標を確立することを正式に証明します。
特に、提案された方法は、計算上の高価な尤度評価を排除し、最適化中にODE解決を回避します。
概念の証明として、制御された設定で、アライメント損失の状況がターゲット分布の負の対数尤度に密接に近似することを示します。
さらに、詳細な議論とアブレーション研究を伴う、多様なターゲット分布を備えたImagenetでの大規模な画像生成実験を通じて、アプローチの有効性をさらに検証します。
理論的および経験的検証の両方により、私たちのフレームワークは、潜在的な空間アライメントのための新しい方法を舗装します。

要約(オリジナル)

This paper presents a novel framework for aligning learnable latent spaces to arbitrary target distributions by leveraging flow-based generative models as priors. Our method first pretrains a flow model on the target features to capture the underlying distribution. This fixed flow model subsequently regularizes the latent space via an alignment loss, which reformulates the flow matching objective to treat the latents as optimization targets. We formally prove that minimizing this alignment loss establishes a computationally tractable surrogate objective for maximizing a variational lower bound on the log-likelihood of latents under the target distribution. Notably, the proposed method eliminates computationally expensive likelihood evaluations and avoids ODE solving during optimization. As a proof of concept, we demonstrate in a controlled setting that the alignment loss landscape closely approximates the negative log-likelihood of the target distribution. We further validate the effectiveness of our approach through large-scale image generation experiments on ImageNet with diverse target distributions, accompanied by detailed discussions and ablation studies. With both theoretical and empirical validation, our framework paves a new way for latent space alignment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google