Black Box Variational Inference with a Deterministic Objective: Faster, More Accurate, and Even More Black Box

要約

自動微分変分推論 (ADVI) は、複数の最新の確率的プログラミング言語で高速で使いやすい事後近似を提供します。
ただし、確率的オプティマイザーには明確な収束基準がなく、パラメーターの調整が必要です。
さらに、ADVI は、平均場変分ベイズ (MFVB) の不十分な事後不確かさ推定を継承します。
これらの問題に対処するために、「決定論的ADVI」（DADVI）を導入します。
DADVI は、扱いにくい MFVB 目標を、確率的最適化の文献で「サンプル平均近似」(SAA) として知られる手法である固定モンテカルロ近似に置き換えます。
近似的だが決定論的な目的を最適化することで、DADVI は既製の 2 次最適化を使用でき、標準の平均場 ADVI とは異なり、線形応答 (LR) を介したより正確な事後共分散に適しています。
既存の最悪の場合の理論とは対照的に、一般的な統計問題の特定のクラスでは、DADVI と SAA が非常に高次元であっても比較的少数のサンプルでうまく機能することを示しますが、そのような良好な結果は変分に拡張できないことも示します
平均場 ADVI に比べて表現力が高すぎる近似。
現実世界のさまざまな問題について、DADVI は (ADVI とは異なり) デフォルト設定で適切な解を確実に見つけ出し、LR 共分散と合わせて、通常は標準の ADVI よりも高速かつ正確であることを示します。

要約(オリジナル)

Automatic differentiation variational inference (ADVI) offers fast and easy-to-use posterior approximation in multiple modern probabilistic programming languages. However, its stochastic optimizer lacks clear convergence criteria and requires tuning parameters. Moreover, ADVI inherits the poor posterior uncertainty estimates of mean-field variational Bayes (MFVB). We introduce “deterministic ADVI” (DADVI) to address these issues. DADVI replaces the intractable MFVB objective with a fixed Monte Carlo approximation, a technique known in the stochastic optimization literature as the “sample average approximation” (SAA). By optimizing an approximate but deterministic objective, DADVI can use off-the-shelf second-order optimization, and, unlike standard mean-field ADVI, is amenable to more accurate posterior covariances via linear response (LR). In contrast to existing worst-case theory, we show that, on certain classes of common statistical problems, DADVI and the SAA can perform well with relatively few samples even in very high dimensions, though we also show that such favorable results cannot extend to variational approximations that are too expressive relative to mean-field ADVI. We show on a variety of real-world problems that DADVI reliably finds good solutions with default settings (unlike ADVI) and, together with LR covariances, is typically faster and more accurate than standard ADVI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google