Variational Online Mirror Descent for Robust Learning in Schrödinger Bridge

要約

Sch \ ‘Odinger Bridge（SB）は、確率的生成モデルの普遍的なクラスに進化しました。
ただし、実際には、推定学習信号はしばしば不確実であり、既存の方法で約束された信頼性は、多くの場合、投機的な最適ケースシナリオに基づいています。
Mirror Descent（MD）を介したSinkhornアルゴリズムに関する最近の研究は注目を集めており、SB問題のソリューション獲得に関する幾何学的洞察を明らかにしています。
このホワイトペーパーでは、SB問題のバリエーションオンラインMD（OMD）フレームワークを提案します。これにより、SBソルバーにさらなる安定性が提供されます。
私たちは、SB獲得の新しいOMD定式化に対する収束と後悔を正式に証明しています。
その結果、Schr \ ‘Odinger電位のガウス混合パラメーター化のWasserstein-Fisher-rao幾何学を利用することにより、Variation Mirrored Schr \’ Odinger Bridge（VMSB）と呼ばれるシミュレーションのないSBアルゴリズムを提案します。
Wasserstein Gradient Flow理論に基づいて、アルゴリズムは、各OMDステップを正確に近似する扱いやすい学習ダイナミクスを提供します。
実験では、広範なベンチマークで提案されたVMSBアルゴリズムのパフォーマンスを検証します。
VMSBは、さまざまなSBの問題で現代のSBソルバーを一貫して上回り、理論によって予測される堅牢性を示しています。

要約(オリジナル)

Sch\’odinger bridge (SB) has evolved into a universal class of probabilistic generative models. In practice, however, estimated learning signals are often uncertain, and the reliability promised by existing methods is often based on speculative optimal-case scenarios. Recent studies regarding the Sinkhorn algorithm through mirror descent (MD) have gained attention, revealing geometric insights into solution acquisition of the SB problems. In this paper, we propose a variational online MD (OMD) framework for the SB problems, which provides further stability to SB solvers. We formally prove convergence and a regret bound for the novel OMD formulation of SB acquisition. As a result, we propose a simulation-free SB algorithm called Variational Mirrored Schr\’odinger Bridge (VMSB) by utilizing the Wasserstein-Fisher-Rao geometry of the Gaussian mixture parameterization for Schr\’odinger potentials. Based on the Wasserstein gradient flow theory, the algorithm offers tractable learning dynamics that precisely approximate each OMD step. In experiments, we validate the performance of the proposed VMSB algorithm across an extensive suite of benchmarks. VMSB consistently outperforms contemporary SB solvers on a range of SB problems, demonstrating the robustness predicted by our theory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google