Efficient Training of Physics-enhanced Neural ODEs via Direct Collocation and Nonlinear Programming

要約

トレーニングプロセスを動的最適化問題として表現することにより、物理学強化ニューラルODE（ペノード）をトレーニングするための新しいアプローチを提案します。
ニューラル成分を含む完全なモデルは、Flipped Legendre-Gauss-Radauポイントを備えた高次の暗黙的なRunge-Kuttaメソッドを使用して離散化され、IPOPTなどの最先端のNLPソルバーによって効率的に解決される大規模な非線形プログラム（NLP）が効率的に解決されます。
この定式化により、ネットワークパラメーターと状態軌跡の同時最適化が可能になり、安定性、ランタイム、および精度の観点からODEソルバーベースのトレーニングの重要な制限に対処します。
ニューラルODの最近の直接的なコロケーションベースの方法に拡張して、ペノデに一般化し、物理的制約を組み込み、類似の並列化されたオープンソースの実装を提示します。
4分の1の車両モデルのベンチマークとVan-Der-Pol発振器は、他のトレーニング技術と比較して、より小さなネットワークを使用した優れた精度、速度、および一般化を実証します。
また、OpenModelicaへの計画された統合の概要を説明し、ニューラルDAEのアクセス可能なトレーニングを可能にします。

要約(オリジナル)

We propose a novel approach for training Physics-enhanced Neural ODEs (PeNODEs) by expressing the training process as a dynamic optimization problem. The full model, including neural components, is discretized using a high-order implicit Runge-Kutta method with flipped Legendre-Gauss-Radau points, resulting in a large-scale nonlinear program (NLP) efficiently solved by state-of-the-art NLP solvers such as Ipopt. This formulation enables simultaneous optimization of network parameters and state trajectories, addressing key limitations of ODE solver-based training in terms of stability, runtime, and accuracy. Extending on a recent direct collocation-based method for Neural ODEs, we generalize to PeNODEs, incorporate physical constraints, and present a custom, parallelized, open-source implementation. Benchmarks on a Quarter Vehicle Model and a Van-der-Pol oscillator demonstrate superior accuracy, speed, and generalization with smaller networks compared to other training techniques. We also outline a planned integration into OpenModelica to enable accessible training of Neural DAEs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google