Vanilla Feedforward Neural Networks as a Discretization of Dynamical Systems

要約

ディープラーニングは、データサイエンスや自然科学の分野で重要な応用を実現しています。
いくつかの研究ではディープ ニューラル ネットワークを動的システムに関連付けていますが、ネットワーク構造は残差ネットワークに限定されています。
残差ネットワークは動的システムの数値離散化と見なすことができることが知られています。
この論文では、古典的なネットワーク構造に戻り、バニラ フィードフォワード ネットワークも、ネットワークの幅が入力と出力の次元に等しい動的システムの数値離散化である可能性があることを証明します。
私たちの証明は、Leaky-ReLU 関数の特性と、微分方程式を解くための分割法の数値手法に基づいています。
私たちの結果は、フィードフォワード ニューラル ネットワークの近似特性を理解するための新しい視点を提供する可能性があります。

要約(オリジナル)

Deep learning has made significant applications in the field of data science and natural science. Some studies have linked deep neural networks to dynamic systems, but the network structure is restricted to the residual network. It is known that residual networks can be regarded as a numerical discretization of dynamic systems. In this paper, we back to the classical network structure and prove that the vanilla feedforward networks could also be a numerical discretization of dynamic systems, where the width of the network is equal to the dimension of the input and output. Our proof is based on the properties of the leaky-ReLU function and the numerical technique of splitting method to solve differential equations. Our results could provide a new perspective for understanding the approximation properties of feedforward neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google