Characteristic Learning for Provable One Step Generation

要約

我々は、敵対的生成ネットワーク (GAN) におけるサンプリングの効率とフローベース モデルの安定したパフォーマンスを組み合わせた新しいワンステップ生成モデルである特性ジェネレーターを提案します。
私たちのモデルは、確率密度輸送を常微分方程式 (ODE) で記述できる特性によって駆動されます。
具体的には、ノンパラメトリック回帰によって速度場を推定し、オイラー法を利用して確率フロー ODE を解き、特性に対する一連の離散近似を生成します。
次に、ディープ ニューラル ネットワークを使用してこれらの特性を適合させ、以前の分布をターゲットの分布に効果的にプッシュするワンステップ マッピングを保証します。
理論的側面では、速度マッチング、オイラー離散化、および特性フィッティングの誤差を分析して、2-Wasserstein 距離における特性ジェネレータの非漸近収束率を確立します。
私たちの知る限り、これはシミュレーション不要のワンステップ生成モデルの最初の徹底的な解析です。
さらに、私たちの分析は、以前の研究におけるフローベースの生成モデルのエラー分析を改良します。
私たちの方法を合成データセットと実際のデータセットの両方に適用したところ、特性ジェネレーターがニューラル ネットワークの 1 回の評価だけで高い生成品質を達成できることがその結果で実証されました。

要約(オリジナル)

We propose the characteristic generator, a novel one-step generative model that combines the efficiency of sampling in Generative Adversarial Networks (GANs) with the stable performance of flow-based models. Our model is driven by characteristics, along which the probability density transport can be described by ordinary differential equations (ODEs). Specifically, We estimate the velocity field through nonparametric regression and utilize Euler method to solve the probability flow ODE, generating a series of discrete approximations to the characteristics. We then use a deep neural network to fit these characteristics, ensuring a one-step mapping that effectively pushes the prior distribution towards the target distribution. In the theoretical aspect, we analyze the errors in velocity matching, Euler discretization, and characteristic fitting to establish a non-asymptotic convergence rate for the characteristic generator in 2-Wasserstein distance. To the best of our knowledge, this is the first thorough analysis for simulation-free one step generative models. Additionally, our analysis refines the error analysis of flow-based generative models in prior works. We apply our method on both synthetic and real datasets, and the results demonstrate that the characteristic generator achieves high generation quality with just a single evaluation of neural network.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google