Semi-Implicit Functional Gradient Flow

要約

粒子ベースの変分推論法 (ParVI) は、粒子によって表されるノンパラメトリック変分ファミリを使用して、カルバック ライブラー (KL) 発散のカーネル化ワッサーシュタイン勾配流に従ってターゲット分布を近似します。
最近の研究では、カーネルを置き換えて柔軟性を高める機能的勾配フローが導入されています。
ただし、決定論的な更新メカニズムでは探索が制限される可能性があり、新しいサンプルに対して高価な反復実行が必要になる場合があります。
この論文では、近似ファミリーとして摂動粒子を使用する関数勾配 ParVI 法である半陰的関数勾配フロー (SIFG) を提案します。
対応する関数勾配フローは、ノイズ除去スコア マッチングによって推定でき、理論上の強力な収束保証を示します。
また、適切なノイズの大きさを自動的に選択するための方法の適応バージョンも紹介します。
広範な実験により、シミュレーションされたデータ問題と実際のデータ問題の両方について、提案されたフレームワークの有効性と効率性が実証されました。

要約(オリジナル)

Particle-based variational inference methods (ParVIs) use non-parametric variational families represented by particles to approximate the target distribution according to the kernelized Wasserstein gradient flow for the Kullback-Leibler (KL) divergence. Recent works introduce functional gradient flows to substitute the kernel for better flexibility. However, the deterministic updating mechanism may suffer from limited exploration and require expensive repetitive runs for new samples. In this paper, we propose Semi-Implicit Functional Gradient flow (SIFG), a functional gradient ParVI method that uses perturbed particles as the approximation family. The corresponding functional gradient flow, which can be estimated via denoising score matching, exhibits strong theoretical convergence guarantee. We also present an adaptive version of our method to automatically choose the suitable noise magnitude. Extensive experiments demonstrate the effectiveness and efficiency of the proposed framework on both simulated and real data problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google