An Ordering of Divergences for Variational Inference with Factorized Gaussian Approximations

要約

扱いにくい分布 $p$ が与えられた場合、変分推論 (VI) の問題は、より扱いやすい族 $\mathcal{Q}$ から最良の近似 $q$ を計算することです。
最も一般的には、近似はカルバック ライブラー (KL) 発散を最小化することによって求められます。
ただし、発散には他にも有効な選択肢が存在し、$\mathcal{Q}$ に ~$p$ が含まれていない場合、各発散は異なる解を支持します。
密な共分散行列を持つガウスが対角共分散行列を持つガウスで近似される場合に、発散の選択が VI の結果にどのような影響を与えるかを分析します。
この設定では、変分近似が分散、精度、エントロピーなどの不確実性のさまざまな尺度を誤って見積もる量によって、さまざまな発散が \textit{順序付け} される可能性があることを示します。
また、これらの尺度のうち 2 つを因数分解近似によって同時に一致させることはできないことを示す不可能性定理も導き出します。
したがって、発散の選択により、どの測定値が正しく推定されるかがわかります。
私たちの分析では、KL 発散、R\’enyi 発散、$\nabla\log p$ と $\nabla\log q$ を比較するスコアベースの発散をカバーしています。
VI を使用して非ガウス分布を近似するときに、これらの順序が維持されるかどうかを経験的に評価します。

要約(オリジナル)

Given an intractable distribution $p$, the problem of variational inference (VI) is to compute the best approximation $q$ from some more tractable family $\mathcal{Q}$. Most commonly the approximation is found by minimizing a Kullback-Leibler (KL) divergence. However, there exist other valid choices of divergences, and when $\mathcal{Q}$ does not contain~$p$, each divergence champions a different solution. We analyze how the choice of divergence affects the outcome of VI when a Gaussian with a dense covariance matrix is approximated by a Gaussian with a diagonal covariance matrix. In this setting we show that different divergences can be \textit{ordered} by the amount that their variational approximations misestimate various measures of uncertainty, such as the variance, precision, and entropy. We also derive an impossibility theorem showing that no two of these measures can be simultaneously matched by a factorized approximation; hence, the choice of divergence informs which measure, if any, is correctly estimated. Our analysis covers the KL divergence, the R\’enyi divergences, and a score-based divergence that compares $\nabla\log p$ and $\nabla\log q$. We empirically evaluate whether these orderings hold when VI is used to approximate non-Gaussian distributions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google