Scalable Importance Sampling in High Dimensions with Low-Rank Mixture Proposals

要約

重要性サンプリングは、サンプリング分布をまれな関心のあるイベントに偏らせることにより、まれなイベントの可能性を効率的に推定するためのモンテカルロ技術です。
学んだ提案分布から加重サンプルを描画することにより、重要なサンプリングにより、まれなイベントまたは分布の尾のよりサンプル効率の高い推定が可能になります。
提案密度の一般的な選択は、ガウス混合モデル（GMM）です。
ただし、高次元でフルランクのGMM共分散行列を推定することは、数値の不安定性のために困難な作業です。
この作業では、重要性サンプリング方法のパラメトリック提案密度として、確率的主成分アナライザー（MPPCA）の混合物を使用することを提案します。
MPPCAモデルは、高次元空間であっても、期待最大化を使用して迅速に適合できる低ランク混合モデルの一種です。
3つのシミュレートされたシステムでの方法を検証し、サンプルの効率と故障分布の特性化の質の一貫した利益を示します。

要約(オリジナル)

Importance sampling is a Monte Carlo technique for efficiently estimating the likelihood of rare events by biasing the sampling distribution towards the rare event of interest. By drawing weighted samples from a learned proposal distribution, importance sampling allows for more sample-efficient estimation of rare events or tails of distributions. A common choice of proposal density is a Gaussian mixture model (GMM). However, estimating full-rank GMM covariance matrices in high dimensions is a challenging task due to numerical instabilities. In this work, we propose using mixtures of probabilistic principal component analyzers (MPPCA) as the parametric proposal density for importance sampling methods. MPPCA models are a type of low-rank mixture model that can be fit quickly using expectation-maximization, even in high-dimensional spaces. We validate our method on three simulated systems, demonstrating consistent gains in sample efficiency and quality of failure distribution characterization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google