Prior Learning in Introspective VAEs

要約

変分自動エンコーダー（VAE）は、教師なしの学習とデータ生成のための一般的なフレームワークです。
敵対的な目的の組み込みと、事前の学習メカニズムの統合が顕著な方向であるため、vaesの改善に焦点を当てた多くの方法が提案されています。
前者に関しては、指標のインスタンスは、低い可能性が非現実的なサンプルに割り当てられることを保証することを目的とした、最近導入された内省的なvaesの家族です。
この研究では、内省的なVAEファミリーの2人のメンバーのうちの1人であるソフトイントロヴェ（S-introvae）に焦点を当て、もう1つは元のイントロヴェです。
最先端のステータスとトレーニングの安定性について、S-Introvaeを選択します。
特に、このS-strovaeに事前にマルチモーダルと訓練可能な訓練可能なものを組み込むことの意味を調査します。
つまり、私たちは3番目のプレーヤーとして事前に策定し、デコーダーと協力して訓練されたときに、ナッシュの平衡をバニラSイントロバエと共有する事前の学習の効果的な方法を構成することを示します。
さらに、S-introvaeにおける最適なエルボの修正された定式化に基づいて、理論的に動機付けられた正則化、つまり（i）事前のトレーニングを安定させるための適応分散クリッピングを開発し、（ii）不活性な以前のモードの形成を阻止するための責任の正規化を開発します。
最後に、2D密度推定ベンチマークと、生成および表現学習におけるS-introvaeにおける事前の学習の効果を示す（F）-MnistおよびCIFAR-10データセットで構成される画像生成設定で一連のターゲット実験を実行します。

要約(オリジナル)

Variational Autoencoders (VAEs) are a popular framework for unsupervised learning and data generation. A plethora of methods have been proposed focusing on improving VAEs, with the incorporation of adversarial objectives and the integration of prior learning mechanisms being prominent directions. When it comes to the former, an indicative instance is the recently introduced family of Introspective VAEs aiming at ensuring that a low likelihood is assigned to unrealistic samples. In this study, we focus on the Soft-IntroVAE (S-IntroVAE), one of only two members of the Introspective VAE family, the other being the original IntroVAE. We select S-IntroVAE for its state-of-the-art status and its training stability. In particular, we investigate the implication of incorporating a multimodal and trainable prior into this S-IntroVAE. Namely, we formulate the prior as a third player and show that when trained in cooperation with the decoder constitutes an effective way for prior learning, which shares the Nash Equilibrium with the vanilla S-IntroVAE. Furthermore, based on a modified formulation of the optimal ELBO in S-IntroVAE, we develop theoretically motivated regularizations, namely (i) adaptive variance clipping to stabilize training when learning the prior and (ii) responsibility regularization to discourage the formation of inactive prior modes. Finally, we perform a series of targeted experiments on a 2D density estimation benchmark and in an image generation setting comprised of the (F)-MNIST and CIFAR-10 datasets demonstrating the effect of prior learning in S-IntroVAE in generation and representation learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google