Diffusion Bridge Mixture Transports, Schrödinger Bridge Problems and Generative Modeling

要約

タイトル：拡散ブリッジ混合輸送、シュレディンガーブリッジ問題、ジェネレーティブモデリング

要約：この論文では、二つの目標確率分布間の輸送を定義し、カルバック-ライブラー距離に基づき参照プロセスに最も近いものを最適に満たす確率過程を探索するシュレディンガーブリッジ問題に対処するための新しいサンプリングベースの反復アルゴリズム、反復拡散ブリッジ混合輸送（IDBM）を提案します。 IDBMプロシージャは、各ステップでターゲット分布間の有効なカップリングを実現するという魅力的な性質を示します。 IDBMプロシージャの収束特性を確立する初期の理論調査を実施し、数多くの数値実験によってIDBMプロシージャの競争力のあるパフォーマンスをさまざまなアプリケーションで示しました。

また、ジェネレーティブモデリングの最近の進展では、拡散プロセスの逆時間を使用して、簡単な分布をデータ分布に近似的に輸送する生成プロセスを定義する方法を採用しています。代替案として、私たちは第一反復のIDBMプロシージャを、この輸送を実現する近似フリーの方法として提案しています。このアプローチは、生成プロセスのダイナミクスを選択する柔軟性があり、長い離散化間隔で高速なトレーニングと優れたサンプル品質を示します。実装に関しては、必要な修正は最小限に抑えられており、トレーニング損失の計算に限定されており、ジェネレーティブサンプリングに対する変更は必要ありません。

要約(オリジナル)

The dynamic Schr\’odinger bridge problem seeks a stochastic process that defines a transport between two target probability measures, while optimally satisfying the criteria of being closest, in terms of Kullback-Leibler divergence, to a reference process. We propose a novel sampling-based iterative algorithm, the iterated diffusion bridge mixture transport (IDBM), aimed at solving the dynamic Schr\’odinger bridge problem. The IDBM procedure exhibits the attractive property of realizing a valid coupling between the target measures at each step. We perform an initial theoretical investigation of the IDBM procedure, establishing its convergence properties. The theoretical findings are complemented by numerous numerical experiments illustrating the competitive performance of the IDBM procedure across various applications. Recent advancements in generative modeling employ the time-reversal of a diffusion process to define a generative process that approximately transports a simple distribution to the data distribution. As an alternative, we propose using the first iteration of the IDBM procedure as an approximation-free method for realizing this transport. This approach offers greater flexibility in selecting the generative process dynamics and exhibits faster training and superior sample quality over longer discretization intervals. In terms of implementation, the necessary modifications are minimally intrusive, being limited to the training loss computation, with no changes necessary for generative sampling.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI