Statistical Properties of Deep Neural Networks with Dependent Data

要約

この論文では、依存データの下でディープ ニューラル ネットワーク (DNN) 推定器の統計的特性を確立します。
DNN 推定器に直接適用できるノンパラメトリックふるい推定器の 2 つの一般的な結果が示されています。
1 つ目は、非定常データの下で確率の収束率を確立します。
2 つ目は、定常 $\beta$-mixing データの下で $\mathcal{L}^{2}$-error に対する非漸近確率限界を提供します。
これらの結果を回帰コンテキストと分類コンテキストの両方で DNN 推定量に適用し、標準的な古い滑らかさの仮定のみを課します。
考慮された DNN アーキテクチャはアプリケーションで一般的であり、連続区分線形活性化関数、無制限の重み、サンプル サイズに応じて増大する幅と深さを備えた完全に接続されたフィードフォワード ネットワークを特徴としています。
提供されるフレームワークは、他の DNN アーキテクチャや時系列アプリケーションの研究の可能性も提供します。

要約(オリジナル)

This paper establishes statistical properties of deep neural network (DNN) estimators under dependent data. Two general results for nonparametric sieve estimators directly applicable to DNN estimators are given. The first establishes rates for convergence in probability under nonstationary data. The second provides non-asymptotic probability bounds on $\mathcal{L}^{2}$-errors under stationary $\beta$-mixing data. I apply these results to DNN estimators in both regression and classification contexts imposing only a standard H\’older smoothness assumption. The DNN architectures considered are common in applications, featuring fully connected feedforward networks with any continuous piecewise linear activation function, unbounded weights, and a width and depth that grows with sample size. The framework provided also offers potential for research into other DNN architectures and time-series applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google