Efficient MCMC Sampling with Expensive-to-Compute and Irregular Likelihoods

要約

マルコフチェーンモンテカルロ（MCMC）とのベイジアン推論は、尤度関数が不規則で高価な場合に挑戦的です。
サブセット評価を利用して計算オーバーヘッドを削減するいくつかのサンプリングアルゴリズムを調査します。
グラデーション情報が利用できないか、信頼できないこの設定にサブセットサンプラーを適応させます。
これを達成するために、Taylor拡張の代わりにデータ駆動型プロキシを導入し、新しい計算コストを認識している適応コントローラーを定義します。
私たちは、困難な疾患モデリングタスクと、尤度面に同様の不規則性を備えた構成可能なタスクについて広範な評価を行います。
ネストされたトレーニングサンプル（ヒント）により、適応型提案とデータ駆動型プロキシを使用して、階層的な重要性の改善されたバージョンが、固定計算予算で最良のサンプリングエラーを取得します。
サブセットの評価は、安価で自然に敏感な探索を提供できると結論付けていますが、データ駆動型のプロキシは、状態空間の探索した地域で事前に画面の提案を成功させることができます。
これらの2つの要素は、階層的な遅延の受け入れを組み合わせて、効率的で正確なサンプリングを達成します。

要約(オリジナル)

Bayesian inference with Markov Chain Monte Carlo (MCMC) is challenging when the likelihood function is irregular and expensive to compute. We explore several sampling algorithms that make use of subset evaluations to reduce computational overhead. We adapt the subset samplers for this setting where gradient information is not available or is unreliable. To achieve this, we introduce data-driven proxies in place of Taylor expansions and define a novel computation-cost aware adaptive controller. We undertake an extensive evaluation for a challenging disease modelling task and a configurable task with similar irregularity in the likelihood surface. We find our improved version of Hierarchical Importance with Nested Training Samples (HINTS), with adaptive proposals and a data-driven proxy, obtains the best sampling error in a fixed computational budget. We conclude that subset evaluations can provide cheap and naturally-tempered exploration, while a data-driven proxy can pre-screen proposals successfully in explored regions of the state space. These two elements combine through hierarchical delayed acceptance to achieve efficient, exact sampling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google