Deep Latent Force Models: ODE-based Process Convolutions for Bayesian Deep Learning

要約

堅牢な不確実性の定量化を使用して高度に非線形な動的システムの挙動をモデル化することは、通常、当面の問題に対処するために特別に設計されたアプローチを必要とする困難なタスクです。
この問題に対処するために、ディープ潜在力モデル (DLFM) と呼ばれるドメインに依存しないモデルを導入します。これは、各層に物理学に基づいたカーネルを備えたディープ ガウス プロセスであり、プロセス畳み込みのフレームワークを使用して常微分方程式から導出されます。
重み空間および変分誘導点ベースのガウス過程近似を利用する DLFM の 2 つの異なる定式化が提示されており、どちらも二重の確率的変分推論に適しています。
我々は、高度に非線形な現実世界の複数出力時系列データに存在するダイナミクスを捕捉する DLFM の機能の経験的証拠を示します。
さらに、DLFM は、ベンチマーク単変量回帰タスクにおいて、物理学に基づいていないさまざまな確率モデルと同等のパフォーマンスを達成できることがわかりました。
また、LFM ベースのモデルの外挿機能に対する誘発ポイント フレームワークの悪影響を経験的に評価します。

要約(オリジナル)

Modelling the behaviour of highly nonlinear dynamical systems with robust uncertainty quantification is a challenging task which typically requires approaches specifically designed to address the problem at hand. We introduce a domain-agnostic model to address this issue termed the deep latent force model (DLFM), a deep Gaussian process with physics-informed kernels at each layer, derived from ordinary differential equations using the framework of process convolutions. Two distinct formulations of the DLFM are presented which utilise weight-space and variational inducing points-based Gaussian process approximations, both of which are amenable to doubly stochastic variational inference. We present empirical evidence of the capability of the DLFM to capture the dynamics present in highly nonlinear real-world multi-output time series data. Additionally, we find that the DLFM is capable of achieving comparable performance to a range of non-physics-informed probabilistic models on benchmark univariate regression tasks. We also empirically assess the negative impact of the inducing points framework on the extrapolation capabilities of LFM-based models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google