Variational Inference for SDEs Driven by Fractional Noise

要約

我々は、マルコフ近似分数ブラウン運動 (fBM) によって駆動される (ニューラル) 確率微分方程式 (SDE) で推論を実行するための新しい変分フレームワークを提案します。
SDE は、固有のノイズとランダム性を伴う現実世界の連続時間動的システムをモデル化するための多用途ツールを提供します。
SDE と変分法の強力な推論機能を組み合わせることで、確率的勾配降下法による代表的な関数分布の学習が可能になります。
ただし、従来の SDE は通常、根底にあるノイズがブラウン運動 (BM) に従うと想定しているため、長期的な依存関係を捕捉する能力が妨げられます。
対照的に、分数ブラウン運動 (fBM) は非マルコフ力学を包含するように BM を拡張しますが、fBM パラメーターを推論するための既存の方法は計算量が多いか統計的に非効率です。
この論文では、fBM のマルコフ近似に基づいて、確立された確率解析の分野から引き出し、事後パス測度の効率的な変分推論に不可欠な証拠の下限を導出します。
さらに、最適な近似係数を決定するための閉形式の式も提供します。
さらに、ニューラル ネットワークを使用して変分事後分布内のドリフト、拡散、および制御項を学習し、ニューラル SDE の変分トレーニングにつながることを提案します。
このフレームワークでは、フラクショナル ノイズの性質を制御するハースト指数も最適化します。
合成データの検証を超えて、私たちは変分潜在ビデオ予測のための新しいアーキテクチャに貢献します。これは、私たちの知る限り、ビデオ認識への最初の変分ニューラル SDE アプリケーションを可能にするアプローチです。

要約(オリジナル)

We present a novel variational framework for performing inference in (neural) stochastic differential equations (SDEs) driven by Markov-approximate fractional Brownian motion (fBM). SDEs offer a versatile tool for modeling real-world continuous-time dynamic systems with inherent noise and randomness. Combining SDEs with the powerful inference capabilities of variational methods, enables the learning of representative function distributions through stochastic gradient descent. However, conventional SDEs typically assume the underlying noise to follow a Brownian motion (BM), which hinders their ability to capture long-term dependencies. In contrast, fractional Brownian motion (fBM) extends BM to encompass non-Markovian dynamics, but existing methods for inferring fBM parameters are either computationally demanding or statistically inefficient. In this paper, building upon the Markov approximation of fBM, we derive the evidence lower bound essential for efficient variational inference of posterior path measures, drawing from the well-established field of stochastic analysis. Additionally, we provide a closed-form expression to determine optimal approximation coefficients. Furthermore, we propose the use of neural networks to learn the drift, diffusion and control terms within our variational posterior, leading to the variational training of neural-SDEs. In this framework, we also optimize the Hurst index, governing the nature of our fractional noise. Beyond validation on synthetic data, we contribute a novel architecture for variational latent video prediction,-an approach that, to the best of our knowledge, enables the first variational neural-SDE application to video perception.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google