Transport meets Variational Inference: Controlled Monte Carlo Diffusions

要約

最適なトランスポートと変分推論を結びつけることで、経路空間上の発散を中心としたサンプリングと生成モデリングのための原理的かつ体系的なフレームワークを提示します。
私たちの研究は、ベイジアン計算用の \emph{制御モンテカルロ拡散} サンプラー (CMCD) の開発で頂点に達しました。これは、拡散モデルにおける順方向と逆方向のダイナミクスの両方を決定的に適応させるスコアベースのアニーリング手法です。
その途中で、シュルディンガーブリッジの EM アルゴリズムと反復比例フィッティング (IPF) の関係を明らかにし、標準的な IPF 更新の反復ボトルネックを回避する正規化された目標も導き出します。
最後に、CMCD には統計物理学からの Jarzinsky と Crooks の恒等式に強力な基礎があり、幅広い実験にわたって競合するアプローチよりも説得力のある性能を発揮することを示します。

要約(オリジナル)

Connecting optimal transport and variational inference, we present a principled and systematic framework for sampling and generative modelling centred around divergences on path space. Our work culminates in the development of the \emph{Controlled Monte Carlo Diffusion} sampler (CMCD) for Bayesian computation, a score-based annealing technique that crucially adapts both forward and backward dynamics in a diffusion model. On the way, we clarify the relationship between the EM-algorithm and iterative proportional fitting (IPF) for Schr{\’o}dinger bridges, deriving as well a regularised objective that bypasses the iterative bottleneck of standard IPF-updates. Finally, we show that CMCD has a strong foundation in the Jarzinsky and Crooks identities from statistical physics, and that it convincingly outperforms competing approaches across a wide array of experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google