On the Number of Regions of Piecewise Linear Neural Networks

要約

多くのフィードフォワード ニューラル ネットワーク (NN) は、連続的区分線形 (CPWL) マッピングを生成します。
具体的には、入力ドメインを、マッピングがアフィンである領域に分割します。
これらのいわゆる線形領域の数は、CPWL NN の表現力を特徴付ける自然な指標を提供します。
この量を正確に決定することは実際には達成できないことが多く、ReLU や Maxout NN などの特定のアーキテクチャに対して限界が提案されています。
この研究では、これらの境界を、任意の、場合によっては多変量の CPWL 活性化関数を使用して NN に一般化します。
まず、深さ、幅、活性化関数の線形領域の数を考慮して、CPWL NN の線形領域の最大数の上限と下限を指定します。
私たちの結果は、凸状パーティションの組み合わせ構造に依存しており、深さ自体が領域の数を指数関数的に増加させることができる独特の役割を裏付けています。
次に、CPWL NN によって生成される線形領域の平均数を推定するために、相補的な確率論的フレームワークを導入します。
合理的な仮定の下では、1D パスに沿った線形領域の予想される密度は、深さ、幅、およびアクティベーションの複雑さの尺度 (最大倍率) の積によって制限されます。
これにより、表現力の 3 つのソースに同じ役割がもたらされます。深さによる指数関数的な増加はもう観察されません。

要約(オリジナル)

Many feedforward neural networks (NNs) generate continuous and piecewise-linear (CPWL) mappings. Specifically, they partition the input domain into regions on which the mapping is affine. The number of these so-called linear regions offers a natural metric to characterize the expressiveness of CPWL NNs. The precise determination of this quantity is often out of reach in practice, and bounds have been proposed for specific architectures, including for ReLU and Maxout NNs. In this work, we generalize these bounds to NNs with arbitrary and possibly multivariate CPWL activation functions. We first provide upper and lower bounds on the maximal number of linear regions of a CPWL NN given its depth, width, and the number of linear regions of its activation functions. Our results rely on the combinatorial structure of convex partitions and confirm the distinctive role of depth which, on its own, is able to exponentially increase the number of regions. We then introduce a complementary stochastic framework to estimate the average number of linear regions produced by a CPWL NN. Under reasonable assumptions, the expected density of linear regions along any 1D path is bounded by the product of depth, width, and a measure of activation complexity (up to a scaling factor). This yields an identical role to the three sources of expressiveness: no exponential growth with depth is observed anymore.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google