Likelihood Training of Schrödinger Bridge using Forward-Backward SDEs Theory

要約

タイトル: Schrödinger Bridgeの尤度トレーニング：Forward-Backward SDEs Theoryを使用した手法
要約:
– Schrödinger Bridge(SB)は、その数学的柔軟性からScored-based Generative Model (SGM)と比較して、深層生成モデリングで増加する注目を集めている熵規制最適輸送問題である。
– しかし、SBの最適化原理が、しばしば対数尤度目的関数の構築に依存する現代の深層生成モデルのトレーニングに関係しているかどうかは明確ではない。
– これにより、SBモデルが生成的アプリケーションの原則的な代替手段として適切であるかどうかについて疑問が生じる。
– 本研究では、Forward-Backward Stochastic Differential Equations Theoryに基づくSBモデルの尤度トレーニングのための新しい計算フレームワークを提案する。
– これにより、SBの最適性条件をSDEのセットに変換する数学的手法が得られ、驚くべきことに、これらのSDEを使用して、通常のSGMの特別な場合として一般化されたSBの尤度目的関数を構築できる。
– これにより、同じSB最適性を継承しながら、現代の生成的トレーニング技術の適用を失うことなく、新しい最適化原理が得られる。
– 最終的に、本研究では、MNIST、CelebA、およびCIFAR10でリアルな画像を生成するために、得られたトレーニングアルゴリズムが比較可能な結果を達成することを示す。
– 本研究のコードは、https://github.com/ghliu/SB-FBSDEで利用可能である。

要約(オリジナル)

Schr\’odinger Bridge (SB) is an entropy-regularized optimal transport problem that has received increasing attention in deep generative modeling for its mathematical flexibility compared to the Scored-based Generative Model (SGM). However, it remains unclear whether the optimization principle of SB relates to the modern training of deep generative models, which often rely on constructing log-likelihood objectives.This raises questions on the suitability of SB models as a principled alternative for generative applications. In this work, we present a novel computational framework for likelihood training of SB models grounded on Forward-Backward Stochastic Differential Equations Theory – a mathematical methodology appeared in stochastic optimal control that transforms the optimality condition of SB into a set of SDEs. Crucially, these SDEs can be used to construct the likelihood objectives for SB that, surprisingly, generalizes the ones for SGM as special cases. This leads to a new optimization principle that inherits the same SB optimality yet without losing applications of modern generative training techniques, and we show that the resulting training algorithm achieves comparable results on generating realistic images on MNIST, CelebA, and CIFAR10. Our code is available at https://github.com/ghliu/SB-FBSDE.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI