Approximation Rates for Shallow ReLU$^k$ Neural Networks on Sobolev Spaces via the Radon Transform

要約

$\Omega\subset \mathbb{R}^d$ を有界領域とします。
ReLU$^k$ 活性化関数を備えた浅いニューラル ネットワークが、$L_q(\Omega)$- で測定された誤差を伴うソボレフ空間 $W^s(L_p(\Omega))$ からの関数をどのように効率的に近似できるかという問題を検討します。
標準。
ラドン変換と不一致理論の最近の結果を利用して、$q\leq p$、$p\geq 2$、$s \leq k + の場合を含むさまざまな場合でほぼ最適な近似率の簡単な証明を提供します。
(d+1)/2$。
私たちが導き出したレートは対数係数まで最適であり、既存の結果を大幅に一般化します。
興味深い結果は、浅い ReLU$^k$ ニューラル ネットワークの適応性により、たとえ固定の区分的多項式を表していても、次数 $s = k + (d+1)/2$ までの滑らかさの最適な近似率を取得できることです。
度$k$。

要約(オリジナル)

Let $\Omega\subset \mathbb{R}^d$ be a bounded domain. We consider the problem of how efficiently shallow neural networks with the ReLU$^k$ activation function can approximate functions from Sobolev spaces $W^s(L_p(\Omega))$ with error measured in the $L_q(\Omega)$-norm. Utilizing the Radon transform and recent results from discrepancy theory, we provide a simple proof of nearly optimal approximation rates in a variety of cases, including when $q\leq p$, $p\geq 2$, and $s \leq k + (d+1)/2$. The rates we derive are optimal up to logarithmic factors, and significantly generalize existing results. An interesting consequence is that the adaptivity of shallow ReLU$^k$ neural networks enables them to obtain optimal approximation rates for smoothness up to order $s = k + (d+1)/2$, even though they represent piecewise polynomials of fixed degree $k$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google