ControlSynth Neural ODEs: Modeling Dynamical Systems with Guaranteed Convergence

要約

ニューラル ODE (NODE) は、時間間隔の制限なしにデータを処理できる連続時間ニューラル ネットワーク (NN) です。
彼らは、複雑な実際のダイナミクスの進化を学習して理解するのに有利です。
これまでの研究の多くは、簡潔な形式の NODE に焦点を当ててきましたが、単純な形式をとる多数の物理システムは、実際にはより複雑な準クラスに属しており、そのため、これらのシステムをモデル化するための高いスケーラビリティと柔軟性を備えた一般的な NODE のクラスにアピールします。
ただし、これにより複雑な非線形特性が生じる可能性があります。
このペーパーでは、ControlSynth Neural ODE (CSODE) を紹介します。
高度に非線形な性質にもかかわらず、扱いやすい線形不等式によって収束が保証できることを示します。
CSODE の構成では、さまざまなスケールでのダイナミクスの潜在的な同時捕捉を学習するための追加の制御項を導入します。これは、偏微分方程式で定式化されたシステムに特に役立ちます。
最後に、CSODE の帰納バイアス下での重要な物理ダイナミクスについて、いくつかの代表的な NN と CSODE を比較し、これらの設定では CSODE の学習能力と予測能力が優れていることを示します。

要約(オリジナル)

Neural ODEs (NODEs) are continuous-time neural networks (NNs) that can process data without the limitation of time intervals. They have advantages in learning and understanding the evolution of complex real dynamics. Many previous works have focused on NODEs in concise forms, while numerous physical systems taking straightforward forms, in fact, belong to their more complex quasi-classes, thus appealing to a class of general NODEs with high scalability and flexibility to model those systems. This, however, may result in intricate nonlinear properties. In this paper, we introduce ControlSynth Neural ODEs (CSODEs). We show that despite their highly nonlinear nature, convergence can be guaranteed via tractable linear inequalities. In the composition of CSODEs, we introduce an extra control term for learning the potential simultaneous capture of dynamics at different scales, which could be particularly useful for partial differential equation-formulated systems. Finally, we compare several representative NNs with CSODEs on important physical dynamics under the inductive biases of CSODEs, and illustrate that CSODEs have better learning and predictive abilities in these settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google