Sampling via Gradient Flows in the Space of Probability Measures

要約

未知の正規化定数を使用してターゲットの確率分布をサンプリングすることは、計算科学および計算工学における基本的な課題です。
最近の研究では、確率測定の空間で勾配の流れを考慮して導出されたアルゴリズムが、アルゴリズム開発に新たな道を開くことを示しています。
この論文は、このような勾配流の設計コンポーネントを精査することにより、このサンプリング手法に 3 つの貢献を行います。
サンプリングのための勾配流のインスタンス化には、流れを決定するためのエネルギー関数と計量、およびアルゴリズムを導き出すための流れの数値近似が必要です。
私たちの最初の貢献は、エネルギー関数としてのカルバック・ライブラー発散が、それから生じる勾配流がターゲット分布の正規化定数に依存しないという (すべての f 発散の中で) 独特の特性を持っていることを示すことです。
私たちの 2 番目の貢献は、不変性の観点から指標の選択を研究することです。
Fisher-Rao 計量は、微分同相不変の一意の選択 (スケーリングまで) として知られています。
計算的に扱いやすい代替手段として、メトリクスと勾配フローに対して緩和されたアフィン不変特性を導入します。
特に、さまざまなアフィン不変の Wasserstein および Stein 勾配フローを構築します。
アフィン不変勾配流は、高度に異方性の分布をサンプリングする場合、非アフィン不変勾配流よりも有利に動作することが、理論上および粒子法を使用して示されています。
私たちの 3 番目の貢献は、勾配流のガウス近似に基づいた効率的なアルゴリズムを研究し、開発することです。
これは粒子法の代替手段につながります。
さまざまなガウス近似勾配フロー間の関係を確立し、パラメトリック変分推論から生じる勾配法との関係を議論し、それらの収束特性を理論的および数値的に研究します。

要約(オリジナル)

Sampling a target probability distribution with an unknown normalization constant is a fundamental challenge in computational science and engineering. Recent work shows that algorithms derived by considering gradient flows in the space of probability measures open up new avenues for algorithm development. This paper makes three contributions to this sampling approach by scrutinizing the design components of such gradient flows. Any instantiation of a gradient flow for sampling needs an energy functional and a metric to determine the flow, as well as numerical approximations of the flow to derive algorithms. Our first contribution is to show that the Kullback-Leibler divergence, as an energy functional, has the unique property (among all f-divergences) that gradient flows resulting from it do not depend on the normalization constant of the target distribution. Our second contribution is to study the choice of metric from the perspective of invariance. The Fisher-Rao metric is known as the unique choice (up to scaling) that is diffeomorphism invariant. As a computationally tractable alternative, we introduce a relaxed, affine invariance property for the metrics and gradient flows. In particular, we construct various affine invariant Wasserstein and Stein gradient flows. Affine invariant gradient flows are shown to behave more favorably than their non-affine-invariant counterparts when sampling highly anisotropic distributions, in theory and by using particle methods. Our third contribution is to study, and develop efficient algorithms based on Gaussian approximations of the gradient flows; this leads to an alternative to particle methods. We establish connections between various Gaussian approximate gradient flows, discuss their relation to gradient methods arising from parametric variational inference, and study their convergence properties both theoretically and numerically.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google