Unconstrained Parametrization of Dissipative and Contracting Neural Ordinary Differential Equations

要約

この研究では、連続時間におけるディープ ニューラル ネットワーク (DNN) のクラスを導入し、研究します。
提案されたアーキテクチャは、ニューラル常微分方程式 (ニューラル ODE) と、最近導入されたリカレント平衡ネットワーク (REN) のモデル構造の組み合わせから生まれています。
私たちが提案する NodeREN に収縮性と散逸性、つまり堅牢な学習と制御にとって重要な特性を与える方法を示します。
最も重要なことは、REN に関しては、制約のない収縮性および散逸性の NodeREN のパラメータ化を導き出すため、多数のパラメータの学習が可能になることです。
非線形システム同定のケーススタディで、不規則にサンプリングされたデータを処理できる可能性を含む NodeREN の特性を検証します。

要約(オリジナル)

In this work, we introduce and study a class of Deep Neural Networks (DNNs) in continuous-time. The proposed architecture stems from the combination of Neural Ordinary Differential Equations (Neural ODEs) with the model structure of recently introduced Recurrent Equilibrium Networks (RENs). We show how to endow our proposed NodeRENs with contractivity and dissipativity — crucial properties for robust learning and control. Most importantly, as for RENs, we derive parametrizations of contractive and dissipative NodeRENs which are unconstrained, hence enabling their learning for a large number of parameters. We validate the properties of NodeRENs, including the possibility of handling irregularly sampled data, in a case study in nonlinear system identification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google