Data-driven Modeling and Inference for Bayesian Gaussian Process ODEs via Double Normalizing Flows

要約

最近、ガウス プロセスが、確率的 ODE 方程式によって特徴付けられる、GPODE と呼ばれる連続動的システムのベクトル場をモデル化するために使用されています。
これらのモデルのベイズ推論は広範囲に研究され、時系列予測などのタスクに適用されています。
ただし、GPODE 研究では、二乗指数カーネルなどの基本カーネルを備えた標準 GP の使用が一般的であり、複雑なシナリオを表現するモデルの能力が制限されていました。
この制限に対処するために、ODE ベクトル場を再パラメータ化する正規化フローを導入し、データ駆動型の事前分布を実現し、それによって柔軟性と表現力を向上させます。
私たちは、正規化フローの分析的に扱いやすい確率密度関数を利用するデータ駆動型変分学習アルゴリズムを開発し、未知の連続ダイナミクスの同時学習と推論を可能にします。
さらに、正規化フローを GP ODE の事後推論に適用して、事後推論における強い平均場の仮定の問題を解決します。
これらの両方の方法で正規化フローを適用することにより、モデルはベイジアン ガウス過程 ODE の精度と不確実性の推定値を向上させます。
私たちは、時系列予測や欠損データ回復タスクなど、シミュレートされた動的システムと現実世界の人間の動作データに対するアプローチの有効性を検証します。
実験結果は、私たちの提案した方法が精度を向上させながらモデルの不確実性を効果的に捕捉することを示しています。

要約(オリジナル)

Recently, Gaussian processes have been used to model the vector field of continuous dynamical systems, referred to as GPODEs, which are characterized by a probabilistic ODE equation. Bayesian inference for these models has been extensively studied and applied in tasks such as time series prediction. However, the use of standard GPs with basic kernels like squared exponential kernels has been common in GPODE research, limiting the model’s ability to represent complex scenarios. To address this limitation, we introduce normalizing flows to reparameterize the ODE vector field, resulting in a data-driven prior distribution, thereby increasing flexibility and expressive power. We develop a data-driven variational learning algorithm that utilizes analytically tractable probability density functions of normalizing flows, enabling simultaneous learning and inference of unknown continuous dynamics. Additionally, we also apply normalizing flows to the posterior inference of GP ODEs to resolve the issue of strong mean-field assumptions in posterior inference. By applying normalizing flows in both these ways, our model improves accuracy and uncertainty estimates for Bayesian Gaussian Process ODEs. We validate the effectiveness of our approach on simulated dynamical systems and real-world human motion data, including time series prediction and missing data recovery tasks. Experimental results show that our proposed method effectively captures model uncertainty while improving accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google