Transport, Variational Inference and Diffusions: with Applications to Annealed Flows and Schrödinger Bridges

要約

最適輸送と変分推論を結びつけ、経路空間上の発散を中心としたサンプリングと生成モデリングのための原理的かつ体系的な枠組みを提示する。我々の研究は、ベイズ計算のためのCMCD(Controlled Monte Carlo Diffusion)サンプラーの開発に結実する。CMCDは、拡散モデルにおける前進と後退の両方のダイナミクスを決定的に適応させるスコアベースのアニーリング技術である。その過程で、EMアルゴリズムとSchr{o}dinger橋の反復比例フィッティング（IPF）の関係を明らかにし、標準的なIPF-updatesの反復ボトルネックを回避する正則化目的語を導出する。最後に、CMCDが統計物理学のJarzinskyとCrooksの恒等式に基づいた強力な基礎を持っていること、そして、CMCDが様々な実験において競合アプローチを説得力を持って凌駕することを示す。

要約(オリジナル)

Connecting optimal transport and variational inference, we present a principled and systematic framework for sampling and generative modelling centred around divergences on path space. Our work culminates in the development of the \emph{Controlled Monte Carlo Diffusion} sampler (CMCD) for Bayesian computation, a score-based annealing technique that crucially adapts both forward and backward dynamics in a diffusion model. On the way, we clarify the relationship between the EM-algorithm and iterative proportional fitting (IPF) for Schr{\’o}dinger bridges, deriving as well a regularised objective that bypasses the iterative bottleneck of standard IPF-updates. Finally, we show that CMCD has a strong foundation in the Jarzinsky and Crooks identities from statistical physics, and that it convincingly outperforms competing approaches across a wide array of experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL