Divide And Conquer: Learning Chaotic Dynamical Systems With Multistep Penalty Neural Ordinary Differential Equations

要約

高次元の力学システムの予測は、地球科学や工学などのさまざまな分野における基本的な課題です。
ニューラル ネットワークと数値ソルバーの力を組み合わせたニューラル常微分方程式 (NODE) は、複雑な非線形力学システムを予測するための有望なアルゴリズムとして浮上しています。
ただし、NODE トレーニングに使用される古典的な手法は、カオス動的システムの学習には効果的ではありません。
この研究では、カオス動的システムの堅牢な学習を可能にする新しい NODE トレーニング アプローチを提案します。
私たちの方法は、根底にあるカオスダイナミクスに関連する非凸性と爆発的な勾配の課題に対処します。
このようなシステムからのトレーニング データの軌跡は、重複しない複数の時間ウィンドウに分割されます。
トレーニング データからの偏差に加えて、最適化損失項により、時間ウィンドウ間の予測軌跡の不連続性がさらにペナルティを受けます。
ウィンドウ サイズは、システムの最速のリアプノフ タイム スケールに基づいて選択されます。
マルチステップペナルティ(MP)法がローレンツ方程式で最初に実証され、損失状況がどのように改善され、それによって最適化の収束が加速されるかを示します。
MP 法は、最小二乗シャドウイングと同様の方法で、大幅に低い計算コストでカオス システムを最適化できます。
私たちが提案したアルゴリズムは、マルチステップ ペナルティ NODE と呼ばれ、倉本・シヴァシンスキー方程式、二次元コルモゴロフ流、大気の ERA5 再解析データなどのカオス系に適用されます。
MP-NODE は、短期軌道予測だけでなく、これらのダイナミクスのカオス的な性質の特徴である不変統計に対しても、このようなカオス システムに対して実行可能なパフォーマンスを提供することが観察されています。

要約(オリジナル)

Forecasting high-dimensional dynamical systems is a fundamental challenge in various fields, such as geosciences and engineering. Neural Ordinary Differential Equations (NODEs), which combine the power of neural networks and numerical solvers, have emerged as a promising algorithm for forecasting complex nonlinear dynamical systems. However, classical techniques used for NODE training are ineffective for learning chaotic dynamical systems. In this work, we propose a novel NODE-training approach that allows for robust learning of chaotic dynamical systems. Our method addresses the challenges of non-convexity and exploding gradients associated with underlying chaotic dynamics. Training data trajectories from such systems are split into multiple, non-overlapping time windows. In addition to the deviation from the training data, the optimization loss term further penalizes the discontinuities of the predicted trajectory between the time windows. The window size is selected based on the fastest Lyapunov time scale of the system. Multi-step penalty(MP) method is first demonstrated on Lorenz equation, to illustrate how it improves the loss landscape and thereby accelerates the optimization convergence. MP method can optimize chaotic systems in a manner similar to least-squares shadowing with significantly lower computational costs. Our proposed algorithm, denoted the Multistep Penalty NODE, is applied to chaotic systems such as the Kuramoto-Sivashinsky equation, the two-dimensional Kolmogorov flow, and ERA5 reanalysis data for the atmosphere. It is observed that MP-NODE provide viable performance for such chaotic systems, not only for short-term trajectory predictions but also for invariant statistics that are hallmarks of the chaotic nature of these dynamics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google