Energy-Calibrated VAE with Test Time Free Lunch

要約

この論文では、変分オートエンコーダ (VAE) を強化するために条件付きエネルギーベース モデル (EBM) を利用する、エネルギー校正 VAE (EC-VAE) と呼ばれる新しい生成モデルを提案します。
具体的には、VAE では、生成方向に生成されたサンプルに対する調整されたトレーニングが不足しているため、生成されたサンプルが不鮮明になることがよくあります。
一方、EBM は高品質のサンプルを生成できますが、高価なマルコフ連鎖モンテカルロ (MCMC) サンプリングが必要です。
これらの問題に対処するために、テスト時の生成に必要とせずに、トレーニング中に VAE の生成方向を調整するための条件付き EBM を導入します。
特に、入力データと適応重みを使用して校正されたサンプルの両方に基づいて EC-VAE をトレーニングし、テスト時の MCMC サンプリングを回避しながら効率を高めます。
さらに、EC-VAE のキャリブレーションのアイデアを変分学習と正規化フローに拡張し、EC-VAE をニューラル伝達事前理論とレンジヌル理論によるゼロショット画像復元の追加アプリケーションに適用します。
画像生成とゼロショット画像復元を含む 2 つのアプリケーションで提案手法を評価しました。実験結果は、私たちの手法が単一ステップの非敵対的生成よりも最先端のパフォーマンスを達成することを示しています。
コードは https://github.com/DJ-LYH/EC-VAE で入手できます。

要約(オリジナル)

In this paper, we propose a novel generative model that utilizes a conditional Energy-Based Model (EBM) for enhancing Variational Autoencoder (VAE), termed Energy-Calibrated VAE (EC-VAE). Specifically, VAEs often suffer from blurry generated samples due to the lack of a tailored training on the samples generated in the generative direction. On the other hand, EBMs can generate high-quality samples but require expensive Markov Chain Monte Carlo (MCMC) sampling. To address these issues, we introduce a conditional EBM for calibrating the generative direction of VAE during training, without requiring it for the generation at test time. In particular, we train EC-VAE upon both the input data and the calibrated samples with adaptive weight to enhance efficacy while avoiding MCMC sampling at test time. Furthermore, we extend the calibration idea of EC-VAE to variational learning and normalizing flows, and apply EC-VAE to an additional application of zero-shot image restoration via neural transport prior and range-null theory. We evaluate the proposed method with two applications, including image generation and zero-shot image restoration, and the experimental results show that our method achieves the state-of-the-art performance over single-step non-adversarial generation. Our code is available at https://github.com/DJ-LYH/EC-VAE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google