Unconstrained Parametrization of Dissipative and Contracting Neural Ordinary Differential Equations

要約

タイトル：拡散性と収縮性を持つニューラル・オーディナリー・ディフェレンシャル方程式の無制限なパラメータ化

要約：

– この研究では、連続時間におけるDeep Neural Networks（DNN）のクラスを提案し、研究しています。
– 提案アーキテクチャは、最近導入されたRecurrent Equilibrium Networks（REN）のモデル構造と、ニューラル・オーディナリー・ディフェレンシャル方程式（Neural ODE）の組み合わせから成り立っています。
– 提案されたNodeRENsに収縮性と拡散性を与える方法を示し、強い学習と制御に不可欠な特性を示しています。
– 最も重要なことは、RENsと同様に、NodeRENsの収縮性と拡散性を無制限にパラメータ化する方法を導出しており、大量のパラメータを学習できるようになっています。
– 非線形システム識別のケーススタディで、NodeRENsの特性、不規則にサンプリングされたデータを処理する可能性などを検証しています。

要約(オリジナル)

In this work, we introduce and study a class of Deep Neural Networks (DNNs) in continuous-time. The proposed architecture stems from the combination of Neural Ordinary Differential Equations (Neural ODEs) with the model structure of recently introduced Recurrent Equilibrium Networks (RENs). We show how to endow our proposed NodeRENs with contractivity and dissipativity — crucial properties for robust learning and control. Most importantly, as for RENs, we derive parametrizations of contractive and dissipative NodeRENs which are unconstrained, hence enabling their learning for a large number of parameters. We validate the properties of NodeRENs, including the possibility of handling irregularly sampled data, in a case study in nonlinear system identification.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI