Constrained Sampling with Primal-Dual Langevin Monte Carlo

要約

この研究では、一般的な非線形関数の期待値によって指定される一連の統計的制約を満たしながら、正規化定数まで既知の確率分布からサンプリングする問題を検討します。
この問題は、ベイズ推論などに応用でき、反事実シナリオを評価するモーメントを制約したり、予測の公平性などの要望を強制したりできます。
ミラー マップ、バリア、ペナルティに基づくものなど、サポート制約を処理するために開発されたメソッドは、このタスクには適していません。
したがって、この研究は、Wasserstein 空間の勾配降下上昇力学に依存して、ターゲット分布とそこからのサンプルを同時に制約する離散時間の主双対ランジュバン モンテカルロ アルゴリズム (PD-LMC) を提案します。
ターゲットの分布と制約、つまり (強い) 凸性と対数ソボレフ不等式に関する標準的な仮定の下で PD-LMC の収束を分析します。
そうするために、鞍点アルゴリズムの古典的な最適化引数をワッサーシュタイン空間の幾何学に導入します。
いくつかのアプリケーションにおける PD-LMC の関連性と有効性を説明します。

要約(オリジナル)

This work considers the problem of sampling from a probability distribution known up to a normalization constant while satisfying a set of statistical constraints specified by the expected values of general nonlinear functions. This problem finds applications in, e.g., Bayesian inference, where it can constrain moments to evaluate counterfactual scenarios or enforce desiderata such as prediction fairness. Methods developed to handle support constraints, such as those based on mirror maps, barriers, and penalties, are not suited for this task. This work therefore relies on gradient descent-ascent dynamics in Wasserstein space to put forward a discrete-time primal-dual Langevin Monte Carlo algorithm (PD-LMC) that simultaneously constrains the target distribution and samples from it. We analyze the convergence of PD-LMC under standard assumptions on the target distribution and constraints, namely (strong) convexity and log-Sobolev inequalities. To do so, we bring classical optimization arguments for saddle-point algorithms to the geometry of Wasserstein space. We illustrate the relevance and effectiveness of PD-LMC in several applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google