Functional Gradient Flows for Constrained Sampling

要約

最近、マルコフ連鎖モンテカルロ (MCMC) と変分推論 (VI) の統一された勾配流の観点を通じて、両方の長所を組み合わせた粒子ベースの変分推論法 (ParVI) が提案されています。
Stein 変分勾配降下法 (SVGD) などの典型的な ParVI は、再現カーネル ヒルベルト空間 (RKHS) 内の勾配流を近似しますが、最近では、RKHS をニューラル ネットワークなどのより表現力豊かな関数空間に置き換える多くの試みが行われています。
これらの方法は成功していますが、主に制約のないドメインからサンプリングするように設計されています。
この論文では、粒子を特定の領域内に閉じ込める勾配流の境界条件を導入することにより、制約付きサンプリングに対する一般的な解決策を提供します。
これにより、全変動 (TV) における証明可能な連続時間収束を備えた、制約付き関数勾配フロー (CFG) と呼ばれる、制約付きサンプリング用の新しい関数勾配 ParVI メソッドを提案できるようになります。
また、領域制約から生じる境界積分項を処理するための新しい数値戦略も提示します。
私たちの理論と実験は、提案されたフレームワークの有効性を実証しています。

要約(オリジナル)

Recently, through a unified gradient flow perspective of Markov chain Monte Carlo (MCMC) and variational inference (VI), particle-based variational inference methods (ParVIs) have been proposed that tend to combine the best of both worlds. While typical ParVIs such as Stein Variational Gradient Descent (SVGD) approximate the gradient flow within a reproducing kernel Hilbert space (RKHS), many attempts have been made recently to replace RKHS with more expressive function spaces, such as neural networks. While successful, these methods are mainly designed for sampling from unconstrained domains. In this paper, we offer a general solution to constrained sampling by introducing a boundary condition for the gradient flow which would confine the particles within the specific domain. This allows us to propose a new functional gradient ParVI method for constrained sampling, called constrained functional gradient flow (CFG), with provable continuous-time convergence in total variation (TV). We also present novel numerical strategies to handle the boundary integral term arising from the domain constraints. Our theory and experiments demonstrate the effectiveness of the proposed framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google