Learning Chaotic Systems and Long-Term Predictions with Neural Jump ODEs

要約

経路依存ニューラル ジャンプ ODE (PD-NJ-ODE) は、不規則 (時間的に) で潜在的に不完全 (座標に関して) の観測を伴う一般的な (おそらく非マルコフ的) 確率過程をオンライン予測するためのモデルです。
条件付き期待値によって与えられる $L^2$ 最適予測子への収束が理論的に確立されるモデルです。
これにより、モデルのトレーニングは、プロセスの法則の知識を必要とせず、基礎となる確率プロセスの実現データセットのみに基づいて行われます。
基礎となるプロセスが決定論的である場合、条件付き期待値はプロセス自体と一致します。
したがって、このフレームワークは、異なる初期条件での動的システムの実現のみから ODE または PDE システムの動力学を学習するために等価的に使用できます。
私たちは、二重振り子のカオス システムにこの手法を適用することで、その手法の可能性を示します。
標準の PD-NJ-ODE メソッドをトレーニングすると、評価時間の約半分後に予測が真のパスから乖離し始めることがわかります。
この作業では、2 つの新しいアイデアでモデルを強化し、それぞれ独立してモデリング設定のパフォーマンスを向上させます。
結果として生じるダイナミクスは、カオス システムの真のダイナミクスと非常によく一致します。
同じ拡張機能を使用すると、PD-NJ-ODE が、標準モデルでは失敗する一般的な確率的データセットの長期予測を学習できることが証明できます。
これはいくつかの実験で検証されています。

要約(オリジナル)

The Path-dependent Neural Jump ODE (PD-NJ-ODE) is a model for online prediction of generic (possibly non-Markovian) stochastic processes with irregular (in time) and potentially incomplete (with respect to coordinates) observations. It is a model for which convergence to the $L^2$-optimal predictor, which is given by the conditional expectation, is established theoretically. Thereby, the training of the model is solely based on a dataset of realizations of the underlying stochastic process, without the need of knowledge of the law of the process. In the case where the underlying process is deterministic, the conditional expectation coincides with the process itself. Therefore, this framework can equivalently be used to learn the dynamics of ODE or PDE systems solely from realizations of the dynamical system with different initial conditions. We showcase the potential of our method by applying it to the chaotic system of a double pendulum. When training the standard PD-NJ-ODE method, we see that the prediction starts to diverge from the true path after about half of the evaluation time. In this work we enhance the model with two novel ideas, which independently of each other improve the performance of our modelling setup. The resulting dynamics match the true dynamics of the chaotic system very closely. The same enhancements can be used to provably enable the PD-NJ-ODE to learn long-term predictions for general stochastic datasets, where the standard model fails. This is verified in several experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google