Robust deep learning from weakly dependent data

要約

深層学習に関する最近の開発により、深層ニューラル ネットワーク推定器のいくつかの理論的特性が確立されました。
ただし、このトピックに関する既存の研究のほとんどは、有界損失関数、(サブ) ガウス関数、または有界入力に限定されています。
この論文では、無制限の損失関数と無制限の入出力を使用した、弱く依存する観測からのロバストな深層学習について考察します。
出力変数には有限の $r$ 次数モーメント ($r >1$) があるとのみ想定されます。
ディープ ニューラル ネットワーク推定器の予想される超過リスクの非漸近限界は、強い混合と観測に対する $\psi$ 弱い依存性の仮定の下で確立されます。
これらの境界と $r$ の間の関係を導き出し、データに任意の次数のモーメントがある場合 (つまり $r=\infty$)、収束率はいくつかのよく知られた結果に近づきます。
ターゲット予測子が、十分に大きな平滑性指数を持つ古い平滑関数のクラスに属している場合、指数関数的に強く混合するデータの予想される超過リスクの割合は、i.i.d. で得られるものと近いか、同じになります。
サンプル。
ロバストなノンパラメトリック回帰とロバストなノンパラメトリック自己回帰への適用が検討されます。
ヘビーテール誤差のあるモデルのシミュレーション研究では、絶対損失とフーバー損失関数を備えたロバストな推定器が最小二乗法よりも優れたパフォーマンスを発揮することが示されています。

要約(オリジナル)

Recent developments on deep learning established some theoretical properties of deep neural networks estimators. However, most of the existing works on this topic are restricted to bounded loss functions or (sub)-Gaussian or bounded input. This paper considers robust deep learning from weakly dependent observations, with unbounded loss function and unbounded input/output. It is only assumed that the output variable has a finite $r$ order moment, with $r >1$. Non asymptotic bounds for the expected excess risk of the deep neural network estimator are established under strong mixing, and $\psi$-weak dependence assumptions on the observations. We derive a relationship between these bounds and $r$, and when the data have moments of any order (that is $r=\infty$), the convergence rate is close to some well-known results. When the target predictor belongs to the class of H\’older smooth functions with sufficiently large smoothness index, the rate of the expected excess risk for exponentially strongly mixing data is close to or as same as those for obtained with i.i.d. samples. Application to robust nonparametric regression and robust nonparametric autoregression are considered. The simulation study for models with heavy-tailed errors shows that, robust estimators with absolute loss and Huber loss function outperform the least squares method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google