NETS: A Non-Equilibrium Transport Sampler

要約

非平衡輸送サンプラー（Non-Equilibrium Transport Sampler：NETS）と呼ばれる、正規化されていない確率分布からサンプリングするアルゴリズムを提案する。NETSは、Jarzynskiの等式に基づくアニールされた重要度サンプリング(AIS)の変形と見なすことができ、非平衡サンプリングを実行するために使用される確率微分方程式は、AISで使用される不偏重みの影響を低減する追加的な学習ドリフト項で補強される。このドリフトは、サンプリングを支配する確率微分方程式の解をバックプロパゲートすることなく、全ての目的関数を不偏的に推定できる。また、これらの目的関数の中には、推定分布の目標からのカルバック・ライブラー発散を制御するものもあることを証明する。NETSは不偏であることが示され、さらに、有効サンプルサイズを最大化するために学習後に調整可能な拡散係数を持つ。標準的なベンチマーク、高次元のガウス混合分布、統計的格子場の理論に基づくモデルにおいて、本手法の有効性を実証し、関連研究や既存のベースラインの性能を上回ることを示す。

要約(オリジナル)

We propose an algorithm, termed the Non-Equilibrium Transport Sampler (NETS), to sample from unnormalized probability distributions. NETS can be viewed as a variant of annealed importance sampling (AIS) based on Jarzynski’s equality, in which the stochastic differential equation used to perform the non-equilibrium sampling is augmented with an additional learned drift term that lowers the impact of the unbiasing weights used in AIS. We show that this drift is the minimizer of a variety of objective functions, which can all be estimated in an unbiased fashion without backpropagating through solutions of the stochastic differential equations governing the sampling. We also prove that some these objectives control the Kullback-Leibler divergence of the estimated distribution from its target. NETS is shown to be unbiased and, in addition, has a tunable diffusion coefficient which can be adjusted post-training to maximize the effective sample size. We demonstrate the efficacy of the method on standard benchmarks, high-dimensional Gaussian mixture distributions, and a model from statistical lattice field theory, for which it surpasses the performances of related work and existing baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL