Fast post-process Bayesian inference with Sparse Variational Bayesian Monte Carlo

要約

Sparse Variational Bayesian Monte Carlo (SVBMC) を導入します。これは、ブラック ボックスと潜在的にノイズの多いモデルの高速な「後処理」ベイジアン推論の方法です。
SVBMC は、既存のターゲット密度評価 (以前の最適化や部分マルコフ連鎖モンテカルロ実行など) をすべて再利用して、対数事後密度のスパース ガウス過程 (GP) 代理モデルを構築します。
サロゲートの不確実な領域は、必要に応じて能動学習によって洗練されます。
私たちの仕事は、サンプル効率の高い推論のための変分ベイジアン モンテカルロ (VBMC) フレームワークに基づいて構築されており、いくつかの新しい貢献があります。
まず、スパース GP 回帰を介して VBMC を多数の既存の評価にスケーラブルにし、スパース GP を使用したアクティブ ラーニング用の新しいベイジアン求積式と取得関数を導出します。
次に、ノイズ シェーピングを導入します。これは、スパース GP 近似を高事後密度領域に集中させる一般的な手法です。
第三に、SVMBC 改良手順をサポートする理論的結果を証明します。
さまざまな困難な合成シナリオと現実世界のアプリケーションでメソッドを検証します。
SVBMC は、さまざまなソースからの既存のモデル評価を後処理することにより、一貫して優れた事後近似を構築し、多くの場合、少数の追加の密度評価のみを必要とすることがわかりました。

要約(オリジナル)

We introduce Sparse Variational Bayesian Monte Carlo (SVBMC), a method for fast ‘post-process’ Bayesian inference for models with black-box and potentially noisy likelihoods. SVBMC reuses all existing target density evaluations — for example, from previous optimizations or partial Markov Chain Monte Carlo runs — to build a sparse Gaussian process (GP) surrogate model of the log posterior density. Uncertain regions of the surrogate are then refined via active learning as needed. Our work builds on the Variational Bayesian Monte Carlo (VBMC) framework for sample-efficient inference, with several novel contributions. First, we make VBMC scalable to a large number of pre-existing evaluations via sparse GP regression, deriving novel Bayesian quadrature formulae and acquisition functions for active learning with sparse GPs. Second, we introduce noise shaping, a general technique to induce the sparse GP approximation to focus on high posterior density regions. Third, we prove theoretical results in support of the SVBMC refinement procedure. We validate our method on a variety of challenging synthetic scenarios and real-world applications. We find that SVBMC consistently builds good posterior approximations by post-processing of existing model evaluations from different sources, often requiring only a small number of additional density evaluations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google