Path-Guided Particle-based Sampling

要約

スタイン変分勾配降下法 (SVGD) など、分割のないターゲット (事後) 分布からサンプリングすることによる粒子ベースのベイジアン推論法は、大きな注目を集めています。
我々は、初期分布をターゲット分布にリンクする新しい対数加重収縮（LwS）密度パスに基づいたパスガイド粒子ベースサンプリング（PGPS）法を提案します。
我々は、設計された密度パスのフォッカー・プランク方程式によって動機づけられるベクトル場を学習するためにニューラルネットワークを利用することを提案する。
初期分布から開始された粒子は、ベクトル場によって定義される常微分方程式に従って進化します。
これらの粒子の分布は、初期分布からターゲット分布までの密度パスに沿って誘導されます。
提案された LwS 密度パスにより、標準的な手法が失敗する一方で、ターゲット分布のモードの効率的な検索が可能になります。
近似誤差と離散化誤差による、PGPS で生成されたサンプルの分布とターゲット分布のワッサーシュタイン距離を理論的に分析します。
実際には、提案された PGPS-LwS 手法は、SVGD やランジュバン力学などのベースラインと比較して、合成ベイズ学習タスクと現実世界のベイジアン学習タスクの両方で行われた実験において、より高いベイジアン推論精度とより優れたキャリブレーション能力を示しています。

要約(オリジナル)

Particle-based Bayesian inference methods by sampling from a partition-free target (posterior) distribution, e.g., Stein variational gradient descent (SVGD), have attracted significant attention. We propose a path-guided particle-based sampling~(PGPS) method based on a novel Log-weighted Shrinkage (LwS) density path linking an initial distribution to the target distribution. We propose to utilize a Neural network to learn a vector field motivated by the Fokker-Planck equation of the designed density path. Particles, initiated from the initial distribution, evolve according to the ordinary differential equation defined by the vector field. The distribution of these particles is guided along a density path from the initial distribution to the target distribution. The proposed LwS density path allows for an efficient search of modes of the target distribution while canonical methods fail. We theoretically analyze the Wasserstein distance of the distribution of the PGPS-generated samples and the target distribution due to approximation and discretization errors. Practically, the proposed PGPS-LwS method demonstrates higher Bayesian inference accuracy and better calibration ability in experiments conducted on both synthetic and real-world Bayesian learning tasks, compared to baselines, such as SVGD and Langevin dynamics, etc.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google