Size and depth of monotone neural networks: interpolation and approximation

要約

すべての重み (バイアス以外) が負でない、しきい値ゲートを備えた単調ニューラル ネットワークを研究します。
私たちは、このようなネットワークの表現力と表現効率に焦点を当てます。
最初の結果は、$[0,1]^d$ 上のすべての単調関数が、深さ 4 の単調ネットワークによって任意の小さな加算誤差内で近似できることを証明します。
$d > 3$ の場合、深さ $d+1$ を持つ以前の最もよく知られた構造を改良します。
私たちの証明は、深さ 4 の単調しきい値ネットワークを使用して単調データセットの単調内挿問題を解くことによって行われます。
2 番目の主な結果では、モノトーン ニューラル ネットワークとしきい値ゲートを使用した任意のニューラル ネットワーク間のサイズ境界を比較します。
ゲートに制限のないネットワークによって効率的に計算できる単調実関数が存在するのに対し、これらの関数を近似する単調ネットワークは次元が指数関数的なサイズを必要とすることがわかりました。

要約(オリジナル)

We study monotone neural networks with threshold gates where all the weights (other than the biases) are non-negative. We focus on the expressive power and efficiency of representation of such networks. Our first result establishes that every monotone function over $[0,1]^d$ can be approximated within arbitrarily small additive error by a depth-4 monotone network. When $d > 3$, we improve upon the previous best-known construction which has depth $d+1$. Our proof goes by solving the monotone interpolation problem for monotone datasets using a depth-4 monotone threshold network. In our second main result we compare size bounds between monotone and arbitrary neural networks with threshold gates. We find that there are monotone real functions that can be computed efficiently by networks with no restriction on the gates whereas monotone networks approximating these functions need exponential size in the dimension.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google