Diffusive Gibbs Sampling

要約

多峰性分布に対する従来のマルコフ連鎖モンテカルロ (MCMC) 法の混合が不十分であるため、ベイズ推論や分子動力学などの実際の応用において重大な課題が生じています。
これに対処するために、私たちは拡散ギブズ サンプリング (DiGS) を提案します。これは、遠く離れたモードと非接続モードを特徴とする分布から効果的にサンプリングするように設計された革新的なサンプリング方法です。
DiGS は、拡散モデルの最近の開発を統合し、ガウス畳み込みを利用して元の空間の孤立モードをブリッジする補助ノイズ分布を作成し、ギブズ サンプリングを適用して両方の空間から交互にサンプルを抽出します。
新しい Metropolis-within-Gibbs スキームは、ノイズ除去サンプリング ステップでの混合を強化するために提案されています。
DiGS は、パラレル テンパリングなどの最先端の方法よりもマルチモーダル分布のサンプリングにおいて優れた混合特性を示し、ガウス分布、ベイジアン ニューラル ネットワーク、分子動力学の混合など、さまざまなタスクにわたってパフォーマンスが大幅に向上します。

要約(オリジナル)

The inadequate mixing of conventional Markov Chain Monte Carlo (MCMC) methods for multi-modal distributions presents a significant challenge in practical applications such as Bayesian inference and molecular dynamics. Addressing this, we propose Diffusive Gibbs Sampling (DiGS), an innovative family of sampling methods designed for effective sampling from distributions characterized by distant and disconnected modes. DiGS integrates recent developments in diffusion models, leveraging Gaussian convolution to create an auxiliary noisy distribution that bridges isolated modes in the original space and applying Gibbs sampling to alternately draw samples from both spaces. A novel Metropolis-within-Gibbs scheme is proposed to enhance mixing in the denoising sampling step. DiGS exhibits a better mixing property for sampling multi-modal distributions than state-of-the-art methods such as parallel tempering, attaining substantially improved performance across various tasks, including mixtures of Gaussians, Bayesian neural networks and molecular dynamics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google