Optimal Approximation Rates for Deep ReLU Neural Networks on Sobolev and Besov Spaces

要約

$\Omega = [0,1]^d$ を $\mathbb{R}^d$ の単位立方体とします。
ReLU 活性化関数を備えたディープ ニューラル ネットワークが、パラメータの数の観点から、ソボレフ空間 $W^s(L_q(\Omega))$ とベソフ空間 $B^s_r の関数をいかに効率的に近似できるかという問題を研究します。
(L_q(\Omega))$、誤差は $L_p(\Omega)$ ノルムで測定されます。
この問題は、科学計算や信号処理などのさまざまな分野でニューラル ネットワークの応用を研究する際に重要ですが、これまでは $p=q=\infty$ の場合にのみ解決されていました。
私たちの貢献は、対応する Sobolev または Besov 空間が $L_p$ にコンパクトに埋め込まれる、すべての $1\leq p,q\leq \infty$ および $s > 0$ に対する完全な解を提供することです。
重要な技術ツールは、スパース ベクトルの最適なエンコードを実現する新しいビット抽出技術です。
これにより、$p > q$ の非線形領域で鋭い上限を得ることができます。
また、$p < \infty$ の場合に VC 次元に基づいて $L_p$ 近似の下限を導出する新しい方法も提供します。 私たちの結果は、非常に深い ReLU ネットワークがパラメータ数の点で古典的な近似方法よりも大幅に優れていることを示していますが、これにはエンコードできないパラメータが犠牲になることがわかります。

要約(オリジナル)

Let $\Omega = [0,1]^d$ be the unit cube in $\mathbb{R}^d$. We study the problem of how efficiently, in terms of the number of parameters, deep neural networks with the ReLU activation function can approximate functions in the Sobolev spaces $W^s(L_q(\Omega))$ and Besov spaces $B^s_r(L_q(\Omega))$, with error measured in the $L_p(\Omega)$ norm. This problem is important when studying the application of neural networks in a variety of fields, including scientific computing and signal processing, and has previously been solved only when $p=q=\infty$. Our contribution is to provide a complete solution for all $1\leq p,q\leq \infty$ and $s > 0$ for which the corresponding Sobolev or Besov space compactly embeds into $L_p$. The key technical tool is a novel bit-extraction technique which gives an optimal encoding of sparse vectors. This enables us to obtain sharp upper bounds in the non-linear regime where $p > q$. We also provide a novel method for deriving $L_p$-approximation lower bounds based upon VC-dimension when $p < \infty$. Our results show that very deep ReLU networks significantly outperform classical methods of approximation in terms of the number of parameters, but that this comes at the cost of parameters which are not encodable.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google