On the Optimal Expressive Power of ReLU DNNs and Its Application in Approximation with Kolmogorov Superposition Theorem

要約

この論文は、ReLU ディープ ニューラル ネットワーク (DNN) の最適な表現力と、コルモゴロフ重ね合わせ定理による近似におけるその応用の研究に専念しています。
まず、$O(N^2L)$ セグメントを構成する $[0,1]$ 上の任意の連続区分線形関数が、$L$ 隠れ層と層ごとに $N$ ニューロンを備えた ReLU DNN で表現できることを建設的に証明します。
続いて、ReLU DNN の粉砕能力の調査を通じて、この構築が DNN のパラメーター数に関して最適であることを実証します。
さらに、コルモゴロフの重ね合わせ定理を援用することで、高次元空間の連続関数を扱う際に、任意の幅と深さの ReLU DNN の近似率を向上させることができます。

要約(オリジナル)

This paper is devoted to studying the optimal expressive power of ReLU deep neural networks (DNNs) and its application in approximation via the Kolmogorov Superposition Theorem. We first constructively prove that any continuous piecewise linear functions on $[0,1]$, comprising $O(N^2L)$ segments, can be represented by ReLU DNNs with $L$ hidden layers and $N$ neurons per layer. Subsequently, we demonstrate that this construction is optimal regarding the parameter count of the DNNs, achieved through investigating the shattering capacity of ReLU DNNs. Moreover, by invoking the Kolmogorov Superposition Theorem, we achieve an enhanced approximation rate for ReLU DNNs of arbitrary width and depth when dealing with continuous functions in high-dimensional spaces.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google