Energy-based Calibrated VAE with Test Time Free Lunch

要約

この論文では、変分オートエンコーダ (VAE) を強化するために条件付き EBM を利用する、新しいエネルギー校正された生成モデルを提案します。
VAE はサンプリング効率が高いですが、生成方向のトレーニングが不足しているため、生成結果が不鮮明になることがよくあります。
一方、エネルギーベース モデル (EBM) は高品質のサンプルを生成できますが、高価なマルコフ連鎖モンテカルロ (MCMC) サンプリングが必要です。
これらの問題に対処するために、テスト時のサンプリングを必要とせずに、トレーニング中に生成方向を調整するための条件付き EBM を導入します。
私たちのアプローチにより、適応重みを使用してデータと校正されたサンプルに基づいて生成モデルをトレーニングできるため、推論フェーズで MCMC サンプリングを必要とせずに効率と有効性が向上します。
また、提案されたアプローチが正規化フローと変分事後分布を校正するために拡張できることも示します。
さらに、提案した方法を神経伝達事前理論とレンジヌル理論を介してゼロショット画像復元に適用することを提案します。
画像生成やゼロショット画像復元など、さまざまなアプリケーションでの広範な実験を通じて、提案された方法の有効性を実証します。
私たちの方法は、単一ステップの非敵対的生成に対して最先端のパフォーマンスを示します。

要約(オリジナル)

In this paper, we propose a novel Energy-Calibrated Generative Model that utilizes a Conditional EBM for enhancing Variational Autoencoders (VAEs). VAEs are sampling efficient but often suffer from blurry generation results due to the lack of training in the generative direction. On the other hand, Energy-Based Models (EBMs) can generate high-quality samples but require expensive Markov Chain Monte Carlo (MCMC) sampling. To address these issues, we introduce a Conditional EBM for calibrating the generative direction during training, without requiring it for test time sampling. Our approach enables the generative model to be trained upon data and calibrated samples with adaptive weight, thereby enhancing efficiency and effectiveness without necessitating MCMC sampling in the inference phase. We also show that the proposed approach can be extended to calibrate normalizing flows and variational posterior. Moreover, we propose to apply the proposed method to zero-shot image restoration via neural transport prior and range-null theory. We demonstrate the effectiveness of the proposed method through extensive experiments in various applications, including image generation and zero-shot image restoration. Our method shows state-of-the-art performance over single-step non-adversarial generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google