Deep neural network approximation of composite functions without the curse of dimensionality

要約

タイトル：次元の呪いを回避する深層ニューラルネットワークによる合成関数の近似
要約：
– 高次元の連続関数でも、ReLUアクティベーションを持つ深層ニューラルネットワーク（DNN）によって、次元の呪いを回避しながら近似することができる。
– つまり、入力次元と近似誤差に対して、DNNのパラメータ数が多項式的にしか増加しない。
– 関数は、特定の関数の合成(含む積や最大値など)から構成されることができる。さらに、Lipschitz連続関数の並列化も含まれる。

要約(オリジナル)

In this article we identify a general class of high-dimensional continuous functions that can be approximated by deep neural networks (DNNs) with the rectified linear unit (ReLU) activation without the curse of dimensionality. In other words, the number of DNN parameters grows at most polynomially in the input dimension and the approximation error. The functions in our class can be expressed as a potentially unbounded number of compositions of special functions which include products, maxima, and certain parallelized Lipschitz continuous functions.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI