Enhanced SMC$^2$: Leveraging Gradient Information from Differentiable Particle Filters Within Langevin Proposals

要約

Sequential Monte Carlo Squared (SMC$^2$) は、非線形、非ガウス状態空間モデルの状態とパラメーターを推論できるベイズ法です。
SMC$^2$ の標準的なランダムウォーク提案は、特に高次元パラメータ空間で課題に直面しています。
この研究では、PyTorch を使用して共通乱数 – 粒子フィルター (CRN-PF) から派生した一次勾配を利用する新しいアプローチの概要を説明します。
結果として得られる勾配は、承認/拒否せずにランジュバン提案内で利用できます。
提案にランジュバン ダイナミクスを含めると、ランダム ウォークと比較して有効なサンプル サイズが大きくなり、パラメーター推定がより正確になる可能性があります。
結果として得られるアルゴリズムは、メッセージ パッシング インターフェイス (MPI) を使用して分散メモリ上で並列化され、$\mathcal{O}(\log_2N)$ の計算量で実行されます。
64 個の計算コアを利用することで、単一コアと比較して 51 倍の高速化が実現します。
コードにアクセスできる GitHub リンクが提供されています。

要約(オリジナル)

Sequential Monte Carlo Squared (SMC$^2$) is a Bayesian method which can infer the states and parameters of non-linear, non-Gaussian state-space models. The standard random-walk proposal in SMC$^2$ faces challenges, particularly with high-dimensional parameter spaces. This study outlines a novel approach by harnessing first-order gradients derived from a Common Random Numbers – Particle Filter (CRN-PF) using PyTorch. The resulting gradients can be leveraged within a Langevin proposal without accept/reject. Including Langevin dynamics within the proposal can result in a higher effective sample size and more accurate parameter estimates when compared with the random-walk. The resulting algorithm is parallelized on distributed memory using Message Passing Interface (MPI) and runs in $\mathcal{O}(\log_2N)$ time complexity. Utilizing 64 computational cores we obtain a 51x speed-up when compared to a single core. A GitHub link is given which provides access to the code.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google