Variational Rank Reduction Autoencoder

要約

決定論的ランク削減自動エンコーダー（RRAE）は、切り捨てられたSVDを適用することにより、潜在空間の正則化を建設することにより実施します。
この正規化により自動エンコーダーがより強力になりますが、それらを生成目的に使用することは、それらの決定論的な性質のために直感に反します。
一方、バリオン性自動エンコーダー（VAE）は、確率的潜在空間を学ぶことにより、生成能力でよく知られています。
このホワイトペーパーでは、RRAEとVAEの両方の利点を活用するモデルである、変分ランク削減オートエンコーダー（VRRAE）を紹介します。
私たちの主張と結果は、RRAEの潜在的な空間を慎重にサンプリングし、Kullback-Leibler（KL）Divergence（VAESと同様）とさらに正規化すると、VRRAESがRRAEとVAEを上回ることを示しています。
さらに、SVDによって誘発される正則化は、VAEよりもVRRAESを優れた発電機にするだけでなく、後部崩壊の可能性を減らすことを示しています。
私たちの結果には、崩壊に対するVRRAEの堅牢性を示す小さなサイズの合成データセットと、3つの実際のデータセットが含まれます。
Mnist、Celeba、およびCifar-10は、VRRAEがFIDスコアに基づいて多くのランダム生成および補間タスクでVAEとRRAEの両方を上回ることが示されています。

要約(オリジナル)

Deterministic Rank Reduction Autoencoders (RRAEs) enforce by construction a regularization on the latent space by applying a truncated SVD. While this regularization makes Autoencoders more powerful, using them for generative purposes is counter-intuitive due to their deterministic nature. On the other hand, Variational Autoencoders (VAEs) are well known for their generative abilities by learning a probabilistic latent space. In this paper, we present Variational Rank Reduction Autoencoders (VRRAEs), a model that leverages the advantages of both RRAEs and VAEs. Our claims and results show that when carefully sampling the latent space of RRAEs and further regularizing with the Kullback-Leibler (KL) divergence (similarly to VAEs), VRRAEs outperform RRAEs and VAEs. Additionally, we show that the regularization induced by the SVD not only makes VRRAEs better generators than VAEs, but also reduces the possibility of posterior collapse. Our results include a synthetic dataset of a small size that showcases the robustness of VRRAEs against collapse, and three real-world datasets; the MNIST, CelebA, and CIFAR-10, over which VRRAEs are shown to outperform both VAEs and RRAEs on many random generation and interpolation tasks based on the FID score.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google