Electrostatics-based particle sampling and approximate inference

要約

静電気力学とニュートン力学の原理に基づく、新しい粒子ベースのサンプリングと近似推論方法が、理論的根拠、アルゴリズム設計、実験的検証とともに導入されています。
この方法は、相互作用粒子システム (IPS) をシミュレートします。粒子、つまり、自由に移動する負の電荷と、大きさがターゲットの分布に比例する空間的に固定された正の電荷が、次の式で記述される結果として生じる電場によって引き起こされる引力と反発を介して相互作用します。
ポアソン方程式。
IPS は、負電荷の分布が目標分布に一致する定常状態に向かって進化します。
この物理学にヒントを得た手法は、決定論的で勾配のないサンプリングと推論を提供し、複素密度の推論、ベイジアン ロジスティック回帰、および動的システム同定のベンチマーク タスクにおいて、他の粒子ベースおよび MCMC 手法と同等のパフォーマンスを達成します。
連続時間および連続空間に容易に拡張可能な離散時間、離散空間のアルゴリズム設計は、ベイズ推論、生成モデリングなどの確率的機械学習シナリオで発生する、より一般的な推論問題での使用のために提供されています。

要約(オリジナル)

A new particle-based sampling and approximate inference method, based on electrostatics and Newton mechanics principles, is introduced with theoretical ground, algorithm design and experimental validation. This method simulates an interacting particle system (IPS) where particles, i.e. the freely-moving negative charges and spatially-fixed positive charges with magnitudes proportional to the target distribution, interact with each other via attraction and repulsion induced by the resulting electric fields described by Poisson’s equation. The IPS evolves towards a steady-state where the distribution of negative charges conforms to the target distribution. This physics-inspired method offers deterministic, gradient-free sampling and inference, achieving comparable performance as other particle-based and MCMC methods in benchmark tasks of inferring complex densities, Bayesian logistic regression and dynamical system identification. A discrete-time, discrete-space algorithmic design, readily extendable to continuous time and space, is provided for usage in more general inference problems occurring in probabilistic machine learning scenarios such as Bayesian inference, generative modelling, and beyond.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google