Controlling Posterior Collapse by an Inverse Lipschitz Constraint on the Decoder Network

要約

タイトル：デコーダーネットワークに逆リプシッツ制約を適用して、事後崩壊を制御する

要約：

– VAEは深層生成モデルの1つであり、過去数十年で膨大な成功を収めている。
– 実際の問題として、VAEは「事後崩壊」と呼ばれる問題に苦しんでおり、エンコーダーがプライオールと一致してしまうと、入力データの潜在的構造から情報を取得しなくなる。
– 本研究では、逆リプシッツニューラルネットワークをデコーダーに導入し、このアーキテクチャに基づいて、我々は、広範なVAEモデルに対して事後崩壊度をシンプルかつ明確に制御する新しい方法を提供する。
– 我々はまた、いくつかの数値実験を通じて、我々の方法の有効性を示す。

要約(オリジナル)

Variational autoencoders (VAEs) are one of the deep generative models that have experienced enormous success over the past decades. However, in practice, they suffer from a problem called posterior collapse, which occurs when the encoder coincides, or collapses, with the prior taking no information from the latent structure of the input data into consideration. In this work, we introduce an inverse Lipschitz neural network into the decoder and, based on this architecture, provide a new method that can control in a simple and clear manner the degree of posterior collapse for a wide range of VAE models equipped with a concrete theoretical guarantee. We also illustrate the effectiveness of our method through several numerical experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI