Implementation and (Inverse Modified) Error Analysis for implicitly-templated ODE-nets

要約

タイトル：暗黙のテンプレートされたODE-netsの暗黙の修正誤差解析と実装

要約：

– ODE-netsを用いた暗黙の数値初期値問題ソルバーのテンプレートを使用してデータから隠れたダイナミクスを学習することに焦点を当てている。
– 最初に、解釈が容易なアンロールされた暗黙のスキームを使用してODE-netsの暗黙の修正誤差解析を実行する。
– アンロールされた暗黙のスキームを使用してODE-netをトレーニングすることは、Inverse Modified Differential Equation (IMDE)の近似を返すことが示されている。
– 現在の戦略では、ODE-netsの数値積分をブラックボックスとして扱っているため、このようなODE-netsをトレーニングする際のハイパーパラメータ選択の理論的根拠を確立する。
– したがって、トレーニングプロセス中に誤差レベルを監視し、アンロールされた解の反復回数を適応的に調整する自己調整アルゴリズムを定式化する。
– これにより、トレーニングを加速しながら精度を維持できる。
– 提案されたアルゴリズムの利点を非適応型アンローリングと比較するためにいくつかの数値実験が実施され、理論的解析が検証される。
– また、このアプローチは、方程式に部分的に知られている物理的項目を組み込むことが自然にできるため、「グレーボックス」同定が生じることに注意する。

要約(オリジナル)

We focus on learning hidden dynamics from data using ODE-nets templated on implicit numerical initial value problem solvers. First, we perform Inverse Modified error analysis of the ODE-nets using unrolled implicit schemes for ease of interpretation. It is shown that training an ODE-net using an unrolled implicit scheme returns a close approximation of an Inverse Modified Differential Equation (IMDE). In addition, we establish a theoretical basis for hyper-parameter selection when training such ODE-nets, whereas current strategies usually treat numerical integration of ODE-nets as a black box. We thus formulate an adaptive algorithm which monitors the level of error and adapts the number of (unrolled) implicit solution iterations during the training process, so that the error of the unrolled approximation is less than the current learning loss. This helps accelerate training, while maintaining accuracy. Several numerical experiments are performed to demonstrate the advantages of the proposed algorithm compared to nonadaptive unrollings, and validate the theoretical analysis. We also note that this approach naturally allows for incorporating partially known physical terms in the equations, giving rise to what is termed “gray box’ identification.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI