Shallow ReLU neural networks and finite elements

要約

我々は、凸ポリトープメッシュ上の（連続または不連続な）区分線形関数は、弱い意味で2つの隠れ層ReLUニューラルネットワークで表現できることを指摘する。さらに、弱い表現に必要な2つの隠れ層のニューロン数は、このメッシュに含まれるポリトープと超平面の数に基づいて正確に与えられる。この結果は、当然ながら定数と線形有限要素関数に対して成立する。このような弱い表現は、浅いReLUニューラルネットワークと有限要素関数の間の橋渡しを確立し、有限要素関数を介した$L^p$ノルムでのReLUニューラルネットワークの近似能力を解析する視点につながる。さらに、最近のテンソルニューラルネットワークによるテンソル有限要素関数の厳密表現について議論する。

要約(オリジナル)

We point out that (continuous or discontinuous) piecewise linear functions on a convex polytope mesh can be represented by two-hidden-layer ReLU neural networks in a weak sense. In addition, the numbers of neurons of the two hidden layers required to weakly represent are accurately given based on the numbers of polytopes and hyperplanes involved in this mesh. The results naturally hold for constant and linear finite element functions. Such weak representation establishes a bridge between shallow ReLU neural networks and finite element functions, and leads to a perspective for analyzing approximation capability of ReLU neural networks in $L^p$ norm via finite element functions. Moreover, we discuss the strict representation for tensor finite element functions via the recent tensor neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL