Zeroth-Order Sampling Methods for Non-Log-Concave Distributions: Alleviating Metastability by Denoising Diffusion

要約

この論文では、正規化されていない密度のクエリに基づいて、非対数凹分布からのサンプリングの問題を検討します。
まず、一般的なモンテカルロ推定器によって近似されたスコア関数を使用したノイズ除去拡散プロセスのシミュレーションに基づくフレームワークである拡散モンテカルロ (DMC) について説明します。
DMC はオラクルベースのメタアルゴリズムであり、そのオラクルはモンテカルロスコア推定器を生成するサンプルへのアクセスを想定しています。
次に、拒絶サンプリングに基づいたこのオラクルの実装を提供します。これにより、DMC がゼロ次拡散モンテカルロ (ZOD-MC) と呼ばれる真のアルゴリズムに変わります。
私たちは、ターゲット分布が対数凹であると仮定したり等周不等式を満たしたりすることなく、最初に一般的なフレームワーク、つまり DMC のパフォーマンス保証を構築することによって収束解析を提供します。
次に、依然として次元の呪いに悩まされているにもかかわらず、ZOD-MC が望ましいサンプリング精度への逆多項式依存を許容することを証明します。
したがって、低次元分布の場合、ZOD-MC は非常に効率的なサンプラーであり、ノイズ除去拡散ベースの RDMC や RS-DMC などの最新のサンプラーを超えるパフォーマンスを備えています。
最後に、モード間の障壁がますます高くなったり、非凸ポテンシャルの不連続性に対して ZOD-MC が鈍感になることを実験的に示します。

要約(オリジナル)

This paper considers the problem of sampling from non-logconcave distribution, based on queries of its unnormalized density. It first describes a framework, Diffusion Monte Carlo (DMC), based on the simulation of a denoising diffusion process with its score function approximated by a generic Monte Carlo estimator. DMC is an oracle-based meta-algorithm, where its oracle is the assumed access to samples that generate a Monte Carlo score estimator. Then we provide an implementation of this oracle, based on rejection sampling, and this turns DMC into a true algorithm, termed Zeroth-Order Diffusion Monte Carlo (ZOD-MC). We provide convergence analyses by first constructing a general framework, i.e. a performance guarantee for DMC, without assuming the target distribution to be log-concave or satisfying any isoperimetric inequality. Then we prove that ZOD-MC admits an inverse polynomial dependence on the desired sampling accuracy, albeit still suffering from the curse of dimensionality. Consequently, for low dimensional distributions, ZOD-MC is a very efficient sampler, with performance exceeding latest samplers, including also-denoising-diffusion-based RDMC and RS-DMC. Last, we experimentally demonstrate the insensitivity of ZOD-MC to increasingly higher barriers between modes or discontinuity in non-convex potential.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google