Towards Lower Bounds on the Depth of ReLU Neural Networks

要約

ReLUアクティベーションと特定のアーキテクチャを備えたニューラルネットワークによって表現できる関数のクラスの理解を深めることに貢献します。
混合整数最適化、多面体理論、および熱帯幾何学の手法を使用して、任意の関数を学習するには単一の隠れ層で十分であることを示唆する普遍的な近似定理に数学的カウンターバランスを提供します。
特に、正確に表現可能な関数のクラスが、層を追加することによって (サイズの制限なしで) 厳密に増加するかどうかを調べます。
調査の副産物として、Wang and Sun (2005) による区分的線形関数に関する古い予想を肯定的に解決しました。
また、対数の深さで関数を表現するために必要なニューラル ネットワークのサイズの上限も示します。

要約(オリジナル)

We contribute to a better understanding of the class of functions that can be represented by a neural network with ReLU activations and a given architecture. Using techniques from mixed-integer optimization, polyhedral theory, and tropical geometry, we provide a mathematical counterbalance to the universal approximation theorems which suggest that a single hidden layer is sufficient for learning any function. In particular, we investigate whether the class of exactly representable functions strictly increases by adding more layers (with no restrictions on size). As a by-product of our investigations, we settle an old conjecture about piecewise linear functions by Wang and Sun (2005) in the affirmative. We also present upper bounds on the sizes of neural networks required to represent functions with logarithmic depth.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google