Implementation and (Inverse Modified) Error Analysis for implicitly-templated ODE-nets

要約

タイトル：暗黙的テンプレートODE-netsの実装と（反変形）エラー解析

要約：
– ODE-netは、暗黙的な数値初期値問題のソルバにテンプレートを記述することで、データから未知の動力学を学習することに注力する。
– 最初に、解釈の容易さのためにアンロールされた暗黙のスキームを使用してODE-netsの反変形エラー解析を行う。アンロールされた暗黙のスキームを使用してODE-netをトレーニングすることで、反変形微分方程式(IMDE)の近似値を得ることができることが示される。
– さらに、現在の戦略は、ODE-netの数値積分をブラックボックスとして扱うため、このようなODE-netのトレーニング時のハイパーパラメータ選択の理論的根拠を確立する。そのため、学習ロス以下のアンロール近似誤差になるように、（アンロールされた）暗黙の解の反復回数を調整する適応アルゴリズムを定式化する。これにより、学習を加速しながら精度を維持することができる。
– 非適応アンローリングと比較して、提案されたアルゴリズムの利点を示すために、いくつかの数値実験が実施され、理論分析が検証される。また、このアプローチにより、方程式の部分的に知られた物理的項を組み込むことが自然に行えるため、「グレー・ボックス」識別を提供することができることにも注目する。

要約(オリジナル)

We focus on learning unknown dynamics from data using ODE-nets templated on implicit numerical initial value problem solvers. First, we perform Inverse Modified error analysis of the ODE-nets using unrolled implicit schemes for ease of interpretation. It is shown that training an ODE-net using an unrolled implicit scheme returns a close approximation of an Inverse Modified Differential Equation (IMDE). In addition, we establish a theoretical basis for hyper-parameter selection when training such ODE-nets, whereas current strategies usually treat numerical integration of ODE-nets as a black box. We thus formulate an adaptive algorithm which monitors the level of error and adapts the number of (unrolled) implicit solution iterations during the training process, so that the error of the unrolled approximation is less than the current learning loss. This helps accelerate training, while maintaining accuracy. Several numerical experiments are performed to demonstrate the advantages of the proposed algorithm compared to nonadaptive unrollings, and validate the theoretical analysis. We also note that this approach naturally allows for incorporating partially known physical terms in the equations, giving rise to what is termed “gray box’ identification.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI