Sampling in Unit Time with Kernel Fisher-Rao Flow

要約

非正規化ターゲット密度またはベイジアン事後分布からサンプリングするための、新しい平均場 ODE と対応する相互作用粒子システムを導入します。
相互作用する粒子システムは勾配がなく、閉じた形式で利用でき、参照密度からサンプリングして (正規化されていない) ターゲット対参照密度比を計算する機能のみが必要です。
平均場 ODE は、特定のフィッシャー・ラオ勾配流の経路である 2 つの密度の幾何学的混合に沿ってサンプルを輸送する速度場のポアソン方程式を解くことによって取得されます。
速度場には再現カーネル ヒルベルト空間分析を採用します。これにより、ポアソン方程式が扱いやすくなり、結果として得られる平均場 ODE を有限サンプルにわたって単純な相互作用粒子システムとして離散化できるようになります。
さらに、平均場 ODE は、サンプル駆動の最適輸送として知られるフレームワーク内のモンジュ アンペア方程式の連続線形化の限界として、離散時間の観点から導出することができます。
私たちは、相互作用する粒子システムがさまざまな特性を持つ分布から高品質のサンプルを生成できることを経験的に示しています。

要約(オリジナル)

We introduce a new mean-field ODE and corresponding interacting particle systems for sampling from an unnormalized target density or Bayesian posterior. The interacting particle systems are gradient-free, available in closed form, and only require the ability to sample from the reference density and compute the (unnormalized) target-to-reference density ratio. The mean-field ODE is obtained by solving a Poisson equation for a velocity field that transports samples along the geometric mixture of the two densities, which is the path of a particular Fisher-Rao gradient flow. We employ a reproducing kernel Hilbert space ansatz for the velocity field, which makes the Poisson equation tractable and enables us to discretize the resulting mean-field ODE over finite samples, as a simple interacting particle system. The mean-field ODE can be additionally be derived from a discrete-time perspective as the limit of successive linearizations of the Monge-Amp\`ere equations within a framework known as sample-driven optimal transport. We demonstrate empirically that our interacting particle systems can produce high-quality samples from distributions with varying characteristics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google