Optimal rates of approximation by shallow ReLU$^k$ neural networks and applications to nonparametric regression

要約

タイトル：浅いReLU$^k$ニューラルネットワークによる近似の最適な速度と非パラメトリック回帰への応用

要約：

– 浅いReLU$^k$ニューラルネットワークに対応するいくつかの変換空間の近似能力を研究する。
– 十分な滑らかさを持つ関数は、有限の変換ノルムを持つこれらの空間に含まれることが示される。
– より滑らかさが少ない関数に対しては、変換ノルムに基づく近似速度が確立される。
– これらの結果を使用して、浅いReLU$^k$ニューラルネットワークのニューロン数に関連して最適な近似速度を証明することができる。
– これらの結果を使用して、ディープニューラルネットワークと畳み込みニューラルネットワーク（CNN）の近似境界を導出することも示す。
– 非パラメトリック回帰に3つのReLUニューラルネットワークモデルを使用して、近似速度を研究する。
– 特に、今回の研究では、浅いニューラルネットワークがH\’older関数の学習に最小限必要な速度を達成できることを実証し、ディープニューラルネットワークに関する最近の研究を補完する。
– また、過剰パラメータ化された（深いまたは浅い）ニューラルネットワークが非パラメトリック回帰に関してほぼ最適な速度を達成できることを証明する。

要約(オリジナル)

We study the approximation capacity of some variation spaces corresponding to shallow ReLU$^k$ neural networks. It is shown that sufficiently smooth functions are contained in these spaces with finite variation norms. For functions with less smoothness, the approximation rates in terms of the variation norm are established. Using these results, we are able to prove the optimal approximation rates in terms of the number of neurons for shallow ReLU$^k$ neural networks. It is also shown how these results can be used to derive approximation bounds for deep neural networks and convolutional neural networks (CNNs). As applications, we study convergence rates for nonparametric regression using three ReLU neural network models: shallow neural network, over-parameterized neural network, and CNN. In particular, we show that shallow neural networks can achieve the minimax optimal rates for learning H\’older functions, which complements recent results for deep neural networks. It is also proven that over-parameterized (deep or shallow) neural networks can achieve nearly optimal rates for nonparametric regression.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI