Fully Bayesian Differential Gaussian Processes through Stochastic Differential Equations

要約

従来のディープ ガウス プロセスは、離散階層を使用してデータの進化をモデル化しますが、差分ガウス プロセス (DIFFGP) は、無限に深いガウス プロセスとして進化を表します。
ただし、従来の DIFFGP 手法では、カーネル ハイパーパラメータの不確実性が見落とされ、それらが固定され時間不変であると想定されることが多く、連続時間モデルと近似推論の間の独自の相乗効果を活用できませんでした。
この研究では、カーネル ハイパーパラメータを確率変数として扱い、結合確率微分方程式 (SDE) を構築してその事後分布と誘導点の事後分布を学習する、完全なベイジアン アプローチを提案します。
ハイパーパラメータに推定の不確実性を組み込むことにより、私たちの方法はモデルの柔軟性と複雑なダイナミクスへの適応性を強化します。
さらに、私たちのアプローチは、SDE 手法を使用して変数を結合することにより、時間変化する包括的で現実的な事後近似を提供します。
実験結果は、従来のアプローチに比べて私たちの方法の利点を実証し、柔軟性、精度、その他の指標の点でその優れたパフォーマンスを示しています。
私たちの研究は、ベイジアン推論を進歩させるためのエキサイティングな研究の道を切り開き、連続時間ガウス プロセスのための強力なモデリング ツールを提供します。

要約(オリジナル)

Traditional deep Gaussian processes model the data evolution using a discrete hierarchy, whereas differential Gaussian processes (DIFFGPs) represent the evolution as an infinitely deep Gaussian process. However, prior DIFFGP methods often overlook the uncertainty of kernel hyperparameters and assume them to be fixed and time-invariant, failing to leverage the unique synergy between continuous-time models and approximate inference. In this work, we propose a fully Bayesian approach that treats the kernel hyperparameters as random variables and constructs coupled stochastic differential equations (SDEs) to learn their posterior distribution and that of inducing points. By incorporating estimation uncertainty on hyperparameters, our method enhances the model’s flexibility and adaptability to complex dynamics. Additionally, our approach provides a time-varying, comprehensive, and realistic posterior approximation through coupling variables using SDE methods. Experimental results demonstrate the advantages of our method over traditional approaches, showcasing its superior performance in terms of flexibility, accuracy, and other metrics. Our work opens up exciting research avenues for advancing Bayesian inference and offers a powerful modeling tool for continuous-time Gaussian processes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google