Approximation of Nonlinear Functionals Using Deep ReLU Networks

要約

タイトル：非線形汎関数をDeep ReLUネットワークで近似する方法

要約：

– 関数ニューラルネットワークは、$s\ge1$および$1\leq p<\infty$の整数に対して定義された$L^P([-1,1]^s)$上の非線形連続汎関数を近似するために提案され、研究されてきました。 - しかしながら、ReLUアクティベーション関数に対しては、普遍性の近似に加えて理論的なプロパティはほとんど知られていません。 - このギャップを埋めるために、本研究では、単純な三角法に基づく連続分段線形補間によって、ReLUアクティベーション関数に関連する汎関数Deepニューラルネットワークの近似能力を調査しました。 - さらに、提案されたDeep ReLUネットワークの近似率を、穏やかな正則性の条件の下で確立しました。 - 最後に、本研究は汎関数データ学習アルゴリズムの理解にも一役買う可能性があります。

要約(オリジナル)

In recent years, functional neural networks have been proposed and studied in order to approximate nonlinear continuous functionals defined on $L^p([-1, 1]^s)$ for integers $s\ge1$ and $1\le p<\infty$. However, their theoretical properties are largely unknown beyond universality of approximation or the existing analysis does not apply to the rectified linear unit (ReLU) activation function. To fill in this void, we investigate here the approximation power of functional deep neural networks associated with the ReLU activation function by constructing a continuous piecewise linear interpolation under a simple triangulation. In addition, we establish rates of approximation of the proposed functional deep ReLU networks under mild regularity conditions. Finally, our study may also shed some light on the understanding of functional data learning algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI