On the Depth of Monotone ReLU Neural Networks and ICNNs

要約

Relu Neural Networksの2つのモデルを研究します：単調ネットワーク（Relu $^+$）と入力凸ニューラルネットワーク（ICNN）。
私たちの焦点は、主に深さの観点から表現力にあり、次の下限を証明しています。
最大関数max $ _n $の場合、最大$ n $の実数を計算すると、relu $^+$ネットワークがmax $ _n $を計算できないか、ほぼ概算できないことを示します。
Max $ _n $のICNN深度の複雑さには、シャープ$ n $下限が証明されています。
また、ReluネットワークとICNNの間の深さ分離も証明しています。
$ k $ごとに、深さ-$ k $ icnnでシミュレートできないサイズ$ o（k^2）$の深さ2 reluネットワークがあります。
証明は、ニューラルネットワークと多面体の形状の間の深い接続に基づいており、三角測量の等片測定特性も使用します。

要約(オリジナル)

We study two models of ReLU neural networks: monotone networks (ReLU$^+$) and input convex neural networks (ICNN). Our focus is on expressivity, mostly in terms of depth, and we prove the following lower bounds. For the maximum function MAX$_n$ computing the maximum of $n$ real numbers, we show that ReLU$^+$ networks cannot compute MAX$_n$, or even approximate it. We prove a sharp $n$ lower bound on the ICNN depth complexity of MAX$_n$. We also prove depth separations between ReLU networks and ICNNs; for every $k$, there is a depth-2 ReLU network of size $O(k^2)$ that cannot be simulated by a depth-$k$ ICNN. The proofs are based on deep connections between neural networks and polyhedral geometry, and also use isoperimetric properties of triangulations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google