State Derivative Normalization for Continuous-Time Deep Neural Networks

要約

ディープ ニューラル ネットワークにとって適切なデータ正規化の重要性はよく知られています。
ただし、連続時間状態空間モデルの推定では、モデル推定の隠れ状態または隠れ状態導関数、さらには時間間隔の正規化が不適切であると、深層学習ベースの数値および最適化の問題につながる可能性があることが観察されています。
方法。
これにより、モデルの品質が低下します。
この寄稿では、これら 3 つの正規化タスクが本質的に結合していることを示します。
この結合が存在するため、状態微分レベルで正規化定数を導入することで、3 つの正規化の課題すべてに対する解決策を提案します。
正規化定数の適切な選択が識別対象のシステムのダイナミクスに関連していることを示し、有効な正規化定数を取得する複数の方法を導き出します。
カスケードタンクシステムからの実験データに基づくベンチマーク問題に関するすべての正規化戦略を比較および議論し、結果を識別文献の他の方法と比較します。

要約(オリジナル)

The importance of proper data normalization for deep neural networks is well known. However, in continuous-time state-space model estimation, it has been observed that improper normalization of either the hidden state or hidden state derivative of the model estimate, or even of the time interval can lead to numerical and optimization challenges with deep learning based methods. This results in a reduced model quality. In this contribution, we show that these three normalization tasks are inherently coupled. Due to the existence of this coupling, we propose a solution to all three normalization challenges by introducing a normalization constant at the state derivative level. We show that the appropriate choice of the normalization constant is related to the dynamics of the to-be-identified system and we derive multiple methods of obtaining an effective normalization constant. We compare and discuss all the normalization strategies on a benchmark problem based on experimental data from a cascaded tanks system and compare our results with other methods of the identification literature.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google