Amortized Variational Inference: When and Why?

要約

確率的潜在変数モデルでは、因数分解 (または平均場) 変分推論 (F-VI) が各潜在変数の個別のパラメトリック分布に適合します。
償却変分推論 (A-VI) は代わりに、各観測値を対応する潜在変数の近似事後分布にマッピングする共通の推論関数を学習します。
通常、A-VI は変分オートエンコーダーのトレーニングの歯車として使用されますが、A-VI が F-VI の一般的な代替としても使用できるのは当然です。
この論文では、いつ、そしてなぜ A-VI を近似ベイズ推論に使用できるのかを検討します。
A-VI が F-VI の最適解を達成し、それによって償却ギャップを埋めることができる、必要、十分、検証可能な潜在変数モデルの条件を導き出します。
これらの条件が、機械学習の多くのモデルを包含する広範なクラスである単純な階層モデルによって一意に検証されることを証明します。
次に、より広範なクラスのモデル上で、AVI の推論機能の領域を拡張してソリューションを改善する方法を示し、例を示します。
償却ギャップを埋めることができない隠れマルコフ モデル。

要約(オリジナル)

In a probabilistic latent variable model, factorized (or mean-field) variational inference (F-VI) fits a separate parametric distribution for each latent variable. Amortized variational inference (A-VI) instead learns a common inference function, which maps each observation to its corresponding latent variable’s approximate posterior. Typically, A-VI is used as a cog in the training of variational autoencoders, however it stands to reason that A-VI could also be used as a general alternative to F-VI. In this paper we study when and why A-VI can be used for approximate Bayesian inference. We derive conditions on a latent variable model which are necessary, sufficient, and verifiable under which A-VI can attain F-VI’s optimal solution, thereby closing the amortization gap. We prove these conditions are uniquely verified by simple hierarchical models, a broad class that encompasses many models in machine learning. We then show, on a broader class of models, how to expand the domain of AVI’s inference function to improve its solution, and we provide examples, e.g. hidden Markov models, where the amortization gap cannot be closed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google