On Kernel-based Variational Autoencoder

要約

この論文では、KDESによって後部を近似し、エビデンス下限（ELBO）のKullback-Leibler（KL）の発散の上限を導き出すことにより、変動自動エンコーダー（VAE）およびカーネル密度推定（KDE）をブリッジします。
KDESの柔軟性により、VAESの後部の最適化が可能になります。これは、Vanilla VaeのGaussian Latent Spaceの制限に対処するだけでなく、ElboのKL駆除を推定する新しい視点も提供します。
適切な条件下では、epanechnikovカーネルが、Kl-divergenceの派生した上限を漸近的に最小化する最適な選択であることを示します。
ガウスカーネルと比較して、Epanechnikov Kernelにはコンパクトなサポートがあり、生成されたサンプルがノイズが少なくぼやけています。
エルボにおけるepanechnikovカーネルの実装は、リパラメーター化のトリックを直接採用できる「ロケーションスケールの」分布ファミリーにあるため、簡単です。
Mnist、Fashion-Mnist、Cifar-10、Celebaなどのベンチマークデータセットに関する一連の実験は、FIDスコアとシャープネスによって測定された再構築画像の品質において、バニラvaeよりもEpanechnikov Variational Autoenocoder（EVAE）の優位性をさらに示しています。

要約(オリジナル)

In this paper, we bridge Variational Autoencoders (VAEs) and kernel density estimations (KDEs) by approximating the posterior by KDEs and deriving an upper bound of the Kullback-Leibler (KL) divergence in the evidence lower bound (ELBO). The flexibility of KDEs makes the optimization of posteriors in VAEs possible, which not only addresses the limitations of Gaussian latent space in vanilla VAE but also provides a new perspective of estimating the KL-divergence in ELBO. Under appropriate conditions, we show that the Epanechnikov kernel is the optimal choice in minimizing the derived upper bound of KL-divergence asymptotically. Compared with Gaussian kernel, Epanechnikov kernel has compact support which should make the generated sample less noisy and blurry. The implementation of Epanechnikov kernel in ELBO is straightforward as it lies in the ‘location-scale’ family of distributions where the reparametrization tricks can be directly employed. A series of experiments on benchmark datasets such as MNIST, Fashion-MNIST, CIFAR-10 and CelebA further demonstrate the superiority of Epanechnikov Variational Autoenocoder (EVAE) over vanilla VAE in the quality of reconstructed images, as measured by the FID score and Sharpness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google