Deep Neural Networks: Multi-Classification and Universal Approximation

要約

幅 $2$ と深さ $2N+4M-1$ 層の ReLU ディープ ニューラル ネットワークが、$\mathbb{R}^d$ の $N$ 要素で構成される任意のデータセットの有限サンプル記憶を達成できることを示します。
ここで $d\ge1,$ および $M$ クラスが作成され、正確な分類が保証されます。
ニューラル ネットワークを時間離散非線形力学システムとしてモデル化することにより、記憶特性を同時制御性またはアンサンブル制御性の問題として解釈します。
この問題は、トレーニングや最適化問題の解決の必要性を回避し、ネットワーク パラメーターを帰納的および明示的に構築することで解決されます。
さらに、このようなネットワークは $L^p(\Omega;\mathbb{R}_+)$ で普遍的な近似を達成できることを確立します。ここで、$\Omega$ は $\mathbb{R}^d$ の有界部分集合です。
$p\in[1,\infty)$、幅 $d+1$ の ReLU ディープ ニューラル ネットワークを使用します。
また、$W^{1,p}$ 関数を近似するための深さの推定値と、$m\geq1$ の $L^p(\Omega;\mathbb{R}^m)$ を近似するための幅の推定値も提供します。
私たちの証明は建設的であり、関連するバイアスと重みの明示的な値を提供します。

要約(オリジナル)

We demonstrate that a ReLU deep neural network with a width of $2$ and a depth of $2N+4M-1$ layers can achieve finite sample memorization for any dataset comprising $N$ elements in $\mathbb{R}^d$, where $d\ge1,$ and $M$ classes, thereby ensuring accurate classification. By modeling the neural network as a time-discrete nonlinear dynamical system, we interpret the memorization property as a problem of simultaneous or ensemble controllability. This problem is addressed by constructing the network parameters inductively and explicitly, bypassing the need for training or solving any optimization problem. Additionally, we establish that such a network can achieve universal approximation in $L^p(\Omega;\mathbb{R}_+)$, where $\Omega$ is a bounded subset of $\mathbb{R}^d$ and $p\in[1,\infty)$, using a ReLU deep neural network with a width of $d+1$. We also provide depth estimates for approximating $W^{1,p}$ functions and width estimates for approximating $L^p(\Omega;\mathbb{R}^m)$ for $m\geq1$. Our proofs are constructive, offering explicit values for the biases and weights involved.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google