Training Neural ODEs Using Fully Discretized Simultaneous Optimization

要約

ニューラルの通常の微分方程式（ニューラルODE）は、ニューラルネットワークを使用した連続時間ダイナミクスを表し、モデリングと制御タスクの進歩を提供します。
ただし、ニューラルオードのトレーニングには、各エポックで微分方程式を解く必要があり、高い計算コストにつながります。
この作業は、より高速なトレーニングの代替手段として同時に最適化方法を調査します。
特に、コロケーションベースの完全に離散化された定式化を採用し、コロケーション係数とニューラルネットワークパラメーターを同時に最適化するために、大規模な非線形最適化のソルバーであるIPOPTを使用します。
ケーススタディとしてファンデルポールオシレーターを使用して、従来のトレーニング方法と比較してより速い収束を示します。
さらに、データバッチ間でサブモデルを効果的に調整するために、乗数の交互方向方法（ADMM）を使用した分解フレームワークを導入します。
私たちの結果は、（コロケーションベースの）同時の神経オードトレーニングパイプラインの重要な可能性を示しています。

要約(オリジナル)

Neural Ordinary Differential Equations (Neural ODEs) represent continuous-time dynamics with neural networks, offering advancements for modeling and control tasks. However, training Neural ODEs requires solving differential equations at each epoch, leading to high computational costs. This work investigates simultaneous optimization methods as a faster training alternative. In particular, we employ a collocation-based, fully discretized formulation and use IPOPT–a solver for large-scale nonlinear optimization–to simultaneously optimize collocation coefficients and neural network parameters. Using the Van der Pol Oscillator as a case study, we demonstrate faster convergence compared to traditional training methods. Furthermore, we introduce a decomposition framework utilizing Alternating Direction Method of Multipliers (ADMM) to effectively coordinate sub-models among data batches. Our results show significant potential for (collocation-based) simultaneous Neural ODE training pipelines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google