A Framework for Improving the Reliability of Black-box Variational Inference

要約

ブラックボックス変分推論 (BBVI) は現在、近似ベイズ推論のためのマルコフ連鎖モンテカルロ法の高速かつ柔軟な代替手段として、機械学習と統計で広く使用されています。
ただし、BBVI の確率的最適化手法は依然として信頼性が低く、効果的に適用するにはかなりの専門知識と手動調整が必要です。
この論文では、BBVI 最適化の信頼性を向上させるためのフレームワークである Robust and Automated Black-box VI (RABVI) を提案します。
RABVI は厳密に正当化された自動化技術に基づいており、少数の直感的な調整パラメータが含まれており、最適な変分近似の不正確な推定値を検出します。
RABVI は、固定学習率反復の収束を検出することで学習率を適応的に減少させ、現在の変分近似と最適な変分近似の間の対称化されたカルバック ライブラー (KL) 発散を推定します。
また、新しい最適化終了基準を採用しており、(i) より小規模な学習が使用された場合の対称化された KL 発散の予測相対減少と、(ii) 収束するために必要な予測計算を比較することにより、ユーザーが計算コストに対して望ましい精度のバランスをとることができます。
学習率が小さいほど。
私たちは、慎重に設計されたシミュレーション研究と、現実世界のさまざまなモデルとデータの例を通じて、RABVI の堅牢性と精度を検証します。

要約(オリジナル)

Black-box variational inference (BBVI) now sees widespread use in machine learning and statistics as a fast yet flexible alternative to Markov chain Monte Carlo methods for approximate Bayesian inference. However, stochastic optimization methods for BBVI remain unreliable and require substantial expertise and hand-tuning to apply effectively. In this paper, we propose Robust and Automated Black-box VI (RABVI), a framework for improving the reliability of BBVI optimization. RABVI is based on rigorously justified automation techniques, includes just a small number of intuitive tuning parameters, and detects inaccurate estimates of the optimal variational approximation. RABVI adaptively decreases the learning rate by detecting convergence of the fixed–learning-rate iterates, then estimates the symmetrized Kullback–Leibler (KL) divergence between the current variational approximation and the optimal one. It also employs a novel optimization termination criterion that enables the user to balance desired accuracy against computational cost by comparing (i) the predicted relative decrease in the symmetrized KL divergence if a smaller learning were used and (ii) the predicted computation required to converge with the smaller learning rate. We validate the robustness and accuracy of RABVI through carefully designed simulation studies and on a diverse set of real-world model and data examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google