Noise-Free Sampling Algorithms via Regularized Wasserstein Proximals

要約

ポテンシャル関数によって支配される分布からのサンプリングの問題を考えます。
この研究は、決定論的である明示的なスコアベースの MCMC 法を提案しており、確率的な微分方程式の発展ではなく、粒子の決定論的な発展をもたらします。
スコア項は、サンプリングによって近似されるカーネル畳み込みを使用して、正規化された Wasserstein 近位によって閉じた形式で与えられます。
さまざまな問題に対する高速収束を実証し、未調整ランジュバン アルゴリズム (ULA) およびメトロポリス調整ランジュバン アルゴリズム (MALA) と比較して、ガウス分布の場合の混合時間境界の次元依存性が改善されていることを示します。
さらに、分散の減少を特徴づける二次ポテンシャル関数の反復ごとに分布の閉形式式を導出します。
経験的な結果は、粒子が組織化された方法で動作し、ポテンシャルのレベル設定等高線上にあることを示しています。
さらに、提案された方法の事後平均推定量は、ベイジアン ロジスティック回帰のコンテキストで ULA および MALA と比較して最大事後推定量に近いことが示されています。
追加の例では、ベイジアン ニューラル ネットワーク トレーニングの競争力のあるパフォーマンスを示します。

要約(オリジナル)

We consider the problem of sampling from a distribution governed by a potential function. This work proposes an explicit score based MCMC method that is deterministic, resulting in a deterministic evolution for particles rather than a stochastic differential equation evolution. The score term is given in closed form by a regularized Wasserstein proximal, using a kernel convolution that is approximated by sampling. We demonstrate fast convergence on various problems and show improved dimensional dependence of mixing time bounds for the case of Gaussian distributions compared to the unadjusted Langevin algorithm (ULA) and the Metropolis-adjusted Langevin algorithm (MALA). We additionally derive closed form expressions for the distributions at each iterate for quadratic potential functions, characterizing the variance reduction. Empirical results demonstrate that the particles behave in an organized manner, lying on level set contours of the potential. Moreover, the posterior mean estimator of the proposed method is shown to be closer to the maximum a-posteriori estimator compared to ULA and MALA in the context of Bayesian logistic regression. Additional examples demonstrate competitive performance for Bayesian neural network training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google