The ELBO of Variational Autoencoders Converges to a Sum of Three Entropies

要約

タイトル：変分オートエンコーダーのELBOは3つのエントロピーの合計に収束する

要約：

– オートエンコーダーの中心的な目的関数は変分下限（ELBO）である。
– 標準的な（ガウス）VAEについて、ELBOは事前分布の（負の）エントロピー、觀察分布の（負の）期待エントロピー、変分分布の平均エントロピーの合計値に収束することが示された。
– 解析的な結果は正確であり、エンコーダーとデコーダーの複雑な深層ネットワークについて、データ点が有限であっても無限であっても、局所最大値や鞍点などの任意の定常点で成立する。
– 結果により、標準的なVAEに関して、ELBOは定常点で閉形式で計算できることが多く、一方、元のELBOは積分の数値近似が必要である。
– 主要な貢献として、VAEのELBOがエントロピー和に等しいことを証明する。
– 数値実験は、得られた解析結果が実践で到達する定常点の近傍でも十分に正確であることを示した。
– 新しいエントロピー形式のELBOを使用して、学習動作を分析および理解する方法について説明する。
– 全般的に、VAE学習の最適化が収束するパラメータ空間のポイントに関する新しい情報を提供するため、これらの貢献は将来の理論的および実践的なVAE学習の研究に役立つと考えられる。

要約(オリジナル)

The central objective function of a variational autoencoder (VAE) is its variational lower bound (the ELBO). Here we show that for standard (i.e., Gaussian) VAEs the ELBO converges to a value given by the sum of three entropies: the (negative) entropy of the prior distribution, the expected (negative) entropy of the observable distribution, and the average entropy of the variational distributions (the latter is already part of the ELBO). Our derived analytical results are exact and apply for small as well as for intricate deep networks for encoder and decoder. Furthermore, they apply for finitely and infinitely many data points and at any stationary point (including local maxima and saddle points). The result implies that the ELBO can for standard VAEs often be computed in closed-form at stationary points while the original ELBO requires numerical approximations of integrals. As a main contribution, we provide the proof that the ELBO for VAEs is at stationary points equal to entropy sums. Numerical experiments then show that the obtained analytical results are sufficiently precise also in those vicinities of stationary points that are reached in practice. Furthermore, we discuss how the novel entropy form of the ELBO can be used to analyze and understand learning behavior. More generally, we believe that our contributions can be useful for future theoretical and practical studies on VAE learning as they provide novel information on those points in parameters space that optimization of VAEs converges to.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI