Neural Networks for Singular Perturbations

要約

特異的に摂動された楕円 2 点境界値問題のモデル クラスの解セットに対するディープ ニューラル ネットワーク (略して DNN) の表現率限界を、ソボレフ ノルムで有界区間 $(-1,1)$ 上で証明します。
与えられたソース項と反応係数が $[-1,1]$ で解析的であると仮定します。
いくつかのクラスの DNN アーキテクチャの特異摂動パラメータに関して均一な NN サイズに関して、ソボレフ ノルムの表現率限界を確立します。
特に、ReLU NN、スパイク NN、$\tanh$ およびシグモイド活性化 NN です。
後者の活性化は、DNN の最後の隠れ層、つまり浅いサブネットワークで「指数境界層解の特徴」を明示的に表すことができ、NN サイズに関してロバストな表現率限界の向上を実現します。
私たちは、すべての DNN アーキテクチャが、分析入力データに対して、いわゆる「エネルギー」および「バランスの取れた」ソボレフ ノルムにおけるロバストな指数解表現を可能にすることを証明します。

要約(オリジナル)

We prove deep neural network (DNN for short) expressivity rate bounds for solution sets of a model class of singularly perturbed, elliptic two-point boundary value problems, in Sobolev norms, on the bounded interval $(-1,1)$. We assume that the given source term and reaction coefficient are analytic in $[-1,1]$. We establish expression rate bounds in Sobolev norms in terms of the NN size which are uniform with respect to the singular perturbation parameter for several classes of DNN architectures. In particular, ReLU NNs, spiking NNs, and $\tanh$- and sigmoid-activated NNs. The latter activations can represent “exponential boundary layer solution features” explicitly, in the last hidden layer of the DNN, i.e. in a shallow subnetwork, and afford improved robust expression rate bounds in terms of the NN size. We prove that all DNN architectures allow robust exponential solution expression in so-called `energy’ as well as in `balanced’ Sobolev norms, for analytic input data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google