Optimal Approximation of Zonoids and Uniform Approximation by Shallow Neural Networks

要約

次の2つの関連する問題を研究します。
1つ目は、$ \ mathbb {r}^{d+1} $の任意のゾーノイドが$ n $ lineセグメントの合計で近似できる程度を決定することです。
2つ目は、バリエーションスペースの浅いrelu $^k $ニューラルネットワークの均一な規範の最適な近似速度を決定することです。
これらの問題の最初は$ d \ neq 2,3 $で解決されましたが、$ d = 2,3 $の場合、最良の上限と下限の間の対数ギャップは残ります。
このギャップを閉じます。これにより、すべての次元でソリューションが完了します。
2番目の問題では、我々の手法は、$ k \ geq 1 $の場合、既存の近似率を大幅に改善し、ターゲット関数とその導関数の両方の均一な近似を有効にします。

要約(オリジナル)

We study the following two related problems. The first is to determine to what error an arbitrary zonoid in $\mathbb{R}^{d+1}$ can be approximated in the Hausdorff distance by a sum of $n$ line segments. The second is to determine optimal approximation rates in the uniform norm for shallow ReLU$^k$ neural networks on their variation spaces. The first of these problems has been solved for $d\neq 2,3$, but when $d=2,3$ a logarithmic gap between the best upper and lower bounds remains. We close this gap, which completes the solution in all dimensions. For the second problem, our techniques significantly improve upon existing approximation rates when $k\geq 1$, and enable uniform approximation of both the target function and its derivatives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google