Alpha-divergence Variational Inference Meets Importance Weighted Auto-Encoders: Methodology and Asymptotics

要約

目標事後分布と変分分布の間のアルファ発散を最小限に抑えるために、変分 R\’enyi (VR) 限界を含むいくつかのアルゴリズムが提案されています。
有望な経験的結果にもかかわらず、これらのアルゴリズムは偏った確率的勾配降下手順に頼っているため、理論的な保証がありません。
この論文では、重要度加重自動エンコーダ (IWAE) 境界の一般化である VR-IWAE 境界を形式化して研究します。
VR-IWAE 限界にはいくつかの望ましい特性があり、特に、再パラメータ化された場合の VR 限界と同じ確率的勾配降下法が得られることを示しますが、今回は不偏勾配推定器に依存しています。
次に、VR-IWAE 結合、つまり標準 IWAE 結合の 2 つの相補的な理論分析を提供します。
これらの分析により、これらの境界の利点または欠点が明らかになります。
最後に、おもちゃと実際のデータの例に関する理論的な主張を説明します。

要約(オリジナル)

Several algorithms involving the Variational R\’enyi (VR) bound have been proposed to minimize an alpha-divergence between a target posterior distribution and a variational distribution. Despite promising empirical results, those algorithms resort to biased stochastic gradient descent procedures and thus lack theoretical guarantees. In this paper, we formalize and study the VR-IWAE bound, a generalization of the Importance Weighted Auto-Encoder (IWAE) bound. We show that the VR-IWAE bound enjoys several desirable properties and notably leads to the same stochastic gradient descent procedure as the VR bound in the reparameterized case, but this time by relying on unbiased gradient estimators. We then provide two complementary theoretical analyses of the VR-IWAE bound and thus of the standard IWAE bound. Those analyses shed light on the benefits or lack thereof of these bounds. Lastly, we illustrate our theoretical claims over toy and real-data examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google