Diffusion Schrödinger Bridge Matching

要約

トランスポートの問題を解決すること、つまり、特定のディストリビューションを別のディストリビューションにトランスポートするマップを見つけることは、機械学習に多くの用途があります。
生成モデリングによって動機付けられた新しい物質輸送方法が最近提案されました。
ノイズ除去拡散モデル (DDM) とフロー マッチング モデル (FMM) は、確率微分方程式 (SDE) または常微分方程式 (ODE) を介してこのようなトランスポートを実装します。
ただし、多くのアプリケーションでは、魅力的な特性を認める決定論的な動的最適トランスポート (OT) マップを近似することが望ましい一方で、DDM と FMM は OT マップに近いトランスポートを提供することが保証されていません。
対照的に、Schr\’odinger ブリッジ (SB) は、OT のエントロピー正則化バージョンを復元する確率的動的マッピングを計算します。
残念ながら、SB を近似する既存の数値的手法は、次元のスケーリングが不十分であるか、反復全体で誤差が蓄積されます。
この作業では、SB 問題を解決するための新しい方法論である反復マルコフ近似と、IMF 反復を計算するための新しい数値アルゴリズムである Diffusion Schr\’odinger Bridge Matching (DSBM) を紹介します。
DSBM は、以前の SB の数値よりも大幅に改善され、最近のさまざまなトランスポート方法の特殊な/限定的なケースとして回復します。
さまざまな問題に対する DSBM のパフォーマンスを示します。

要約(オリジナル)

Solving transport problems, i.e. finding a map transporting one given distribution to another, has numerous applications in machine learning. Novel mass transport methods motivated by generative modeling have recently been proposed, e.g. Denoising Diffusion Models (DDMs) and Flow Matching Models (FMMs) implement such a transport through a Stochastic Differential Equation (SDE) or an Ordinary Differential Equation (ODE). However, while it is desirable in many applications to approximate the deterministic dynamic Optimal Transport (OT) map which admits attractive properties, DDMs and FMMs are not guaranteed to provide transports close to the OT map. In contrast, Schr\’odinger bridges (SBs) compute stochastic dynamic mappings which recover entropy-regularized versions of OT. Unfortunately, existing numerical methods approximating SBs either scale poorly with dimension or accumulate errors across iterations. In this work, we introduce Iterative Markovian Fitting, a new methodology for solving SB problems, and Diffusion Schr\’odinger Bridge Matching (DSBM), a novel numerical algorithm for computing IMF iterates. DSBM significantly improves over previous SB numerics and recovers as special/limiting cases various recent transport methods. We demonstrate the performance of DSBM on a variety of problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google