Optimal approximation of $C^k$-functions using shallow complex-valued neural networks

要約

複素立方体 $\Omega_n := [-1,1]^n +i[-1,1
]^n\subseteq \mathbb{C}^n$ 浅い複素数ニューラル ネットワークを使用します。
正確には、単一の隠れ層と $m$ 個のニューロンを持つニューラル ネットワーク、つまり $z \mapsto \sum_{j=1}^m \sigma_j \cdot \phi\big(\rho_j^T z
+ b_j\big)$ そして、$C^k \left( \Omega_n; \mathbb{C}\right)$ のすべての関数を $m^{-
k/(2n)}$ as $m \to \infty$、活性化関数 $\phi: \mathbb{C} \to \mathbb{C}$ が滑らかであるが、空でない開集合で多調和ではない場合
.
さらに、重み $\sigma_j、b_j \in \mathbb{C}$ および $\rho_j \in \mathbb{C}^n$ の選択が $f$ に関して連続であることを示し、導出された
近似率は、この連続性の仮定の下で最適です。
また、不連続な重みの選択に対する結果の最適性についても説明します。

要約(オリジナル)

We prove a quantitative result for the approximation of functions of regularity $C^k$ (in the sense of real variables) defined on the complex cube $\Omega_n := [-1,1]^n +i[-1,1]^n\subseteq \mathbb{C}^n$ using shallow complex-valued neural networks. Precisely, we consider neural networks with a single hidden layer and $m$ neurons, i.e., networks of the form $z \mapsto \sum_{j=1}^m \sigma_j \cdot \phi\big(\rho_j^T z + b_j\big)$ and show that one can approximate every function in $C^k \left( \Omega_n; \mathbb{C}\right)$ using a function of that form with error of the order $m^{-k/(2n)}$ as $m \to \infty$, provided that the activation function $\phi: \mathbb{C} \to \mathbb{C}$ is smooth but not polyharmonic on some non-empty open set. Furthermore, we show that the selection of the weights $\sigma_j, b_j \in \mathbb{C}$ and $\rho_j \in \mathbb{C}^n$ is continuous with respect to $f$ and prove that the derived rate of approximation is optimal under this continuity assumption. We also discuss the optimality of the result for a possibly discontinuous choice of the weights.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google