Uniform Convergence of Deep Neural Networks with Lipschitz Continuous Activation Functions and Variable Widths

要約

リプシッツ連続活性化関数と可変幅の重み行列を持つディープニューラルネットワークを考察する。リプシッツ定数とともに、重み行列とバイアスベクトルに関する十分な条件が提供され、ディープニューラルネットワークの層数が無限大になるにつれて、意味のある関数に一様に収束することを保証する一様収束解析フレームワークを確立した。この枠組みの中で、固定幅、有界幅、無界幅を持つディープニューラルネットワークの均一な収束に関する特別な結果が示される。特に、畳み込みニューラルネットワークは、幅が増加する重み行列を持つ特別なディープニューラルネットワークであるため、結果として得られる畳み込みニューラルネットワークの均一な収束を導くマスク列に関する条件を提示する。活性化関数に対するリプシッツ連続性の仮定により、アプリケーションでよく使われる活性化関数のほとんどを我々の理論に含めることができる。

要約(オリジナル)

We consider deep neural networks with a Lipschitz continuous activation function and with weight matrices of variable widths. We establish a uniform convergence analysis framework in which sufficient conditions on weight matrices and bias vectors together with the Lipschitz constant are provided to ensure uniform convergence of the deep neural networks to a meaningful function as the number of their layers tends to infinity. In the framework, special results on uniform convergence of deep neural networks with a fixed width, bounded widths and unbounded widths are presented. In particular, as convolutional neural networks are special deep neural networks with weight matrices of increasing widths, we put forward conditions on the mask sequence which lead to uniform convergence of resulting convolutional neural networks. The Lipschitz continuity assumption on the activation functions allows us to include in our theory most of commonly used activation functions in applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL