Sharp Lower Bounds on Interpolation by Deep ReLU Neural Networks at Irregularly Spaced Data

要約

私たちは、ディープ ReLU ニューラル ネットワークの補間能力を研究します。
具体的には、ディープ ReLU ネットワークが $\delta$ の距離だけ離れた単位球内の $N$ データポイントの値をパラメーターの数に関してどれだけ効率的に補間できるかという問題を検討します。
$\delta$ が $N$ で指数関数的に小さい領域では $\Omega(N)$ パラメータが必要であることを示します。これは、$O(N)$ パラメータが常に十分であるため、この領域では鋭い結果が得られます。
これは、VC 次元の下限を証明するために使用されるビット抽出技術が不規則な間隔のデータポイントには適用できないことも示しています。
最後に、アプリケーションとして、ディープ ReLU ニューラル ネットワークが埋め込みエンドポイントでソボレフ空間に対して達成できる近似率の下限を与えます。

要約(オリジナル)

We study the interpolation power of deep ReLU neural networks. Specifically, we consider the question of how efficiently, in terms of the number of parameters, deep ReLU networks can interpolate values at $N$ datapoints in the unit ball which are separated by a distance $\delta$. We show that $\Omega(N)$ parameters are required in the regime where $\delta$ is exponentially small in $N$, which gives the sharp result in this regime since $O(N)$ parameters are always sufficient. This also shows that the bit-extraction technique used to prove lower bounds on the VC dimension cannot be applied to irregularly spaced datapoints. Finally, as an application we give a lower bound on the approximation rates that deep ReLU neural networks can achieve for Sobolev spaces at the embedding endpoint.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google