Stability-Informed Initialization of Neural Ordinary Differential Equations

要約

この論文では、ニューラル常微分方程式 (ニューラル ODE) のトレーニングについて扱い、特に数値積分手法、安定領域、ステップ サイズ、および初期化手法の間の相互作用を調査します。
統合手法の選択が学習済みモデルを暗黙的に正規化する方法と、ソルバーの対応する安定領域がトレーニングと予測のパフォーマンスにどのように影響するかを示します。
この分析から、安定性を考慮したパラメータ初期化手法が導入されます。
初期化方法の有効性は、いくつかの学習ベンチマークと産業用アプリケーションにわたって示されています。

要約(オリジナル)

This paper addresses the training of Neural Ordinary Differential Equations (neural ODEs), and in particular explores the interplay between numerical integration techniques, stability regions, step size, and initialization techniques. It is shown how the choice of integration technique implicitly regularizes the learned model, and how the solver’s corresponding stability region affects training and prediction performance. From this analysis, a stability-informed parameter initialization technique is introduced. The effectiveness of the initialization method is displayed across several learning benchmarks and industrial applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google