SDE Matching: Scalable and Simulation-Free Training of Latent Stochastic Differential Equations

要約

潜在確率微分方程式（Latent Stochastic Differential Equation: SDE）は、時系列やシーケンスのモデリングのための強力なツールである。しかし、一般的にLatent SDEの学習は、シミュレーションと近似SDE解を介したバックプロパゲーションに依存するアドジョイント感度法に依存しており、スケーラビリティに限界がある。本研究では、シミュレーションを必要としない新しい潜在SDE訓練法であるSDEマッチングを提案する。生成ダイナミクスを学習するための最新のスコアマッチングとフローマッチングのアルゴリズムにヒントを得て、これらのアイデアを時系列とシーケンスのモデリングのための確率ダイナミクスの領域に拡張し、コストのかかる数値シミュレーションを不要にする。我々の結果は、SDEマッチングが計算量を大幅に削減しながら、アドジョイント感度法に匹敵する性能を達成することを示している。

要約(オリジナル)

The Latent Stochastic Differential Equation (SDE) is a powerful tool for time series and sequence modeling. However, training Latent SDEs typically relies on adjoint sensitivity methods, which depend on simulation and backpropagation through approximate SDE solutions, which limit scalability. In this work, we propose SDE Matching, a new simulation-free method for training Latent SDEs. Inspired by modern Score- and Flow Matching algorithms for learning generative dynamics, we extend these ideas to the domain of stochastic dynamics for time series and sequence modeling, eliminating the need for costly numerical simulations. Our results demonstrate that SDE Matching achieves performance comparable to adjoint sensitivity methods while drastically reducing computational complexity.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL