Deep learning from strongly mixing observations: Sparse-penalized regularization and minimax optimality

要約

独立したデータからのディープ ニューラル ネットワーク推定器の明示的な正則化と最適化は、最近かなりの進歩を遂げました。
依存データに関するこのような特性の研究は依然として課題です。
この論文では、強混合観測から深層学習を実行し、二乗および広範なクラスの損失関数を扱います。
ディープ ニューラル ネットワーク予測子のスパース ペナルティ付き正則化を検討します。
回帰推定、分類、時系列予測、$\cdots$ を含む一般的なフレームワークの場合、予想される超過リスクに対するオラクルの不等式が確立され、古い滑らかな関数のクラスの境界が提供されます。
強い混合データと準指数関数的誤差からのノンパラメトリック回帰については、$L_2$ 誤差のオラクル不等式を提供し、古い合成関数のクラスでのこの誤差の上限を調べます。
ガウス誤差とラプラス誤差を伴うノンパラメトリック自己回帰の特定のケースでは、この古い合成クラスの $L_2$ 誤差の下限が確立されます。
対数係数までは、この境界はその上限と一致します。
したがって、ディープ ニューラル ネットワーク推定器はミニマックス最適レートを達成します。

要約(オリジナル)

The explicit regularization and optimality of deep neural networks estimators from independent data have made considerable progress recently. The study of such properties on dependent data is still a challenge. In this paper, we carry out deep learning from strongly mixing observations, and deal with the squared and a broad class of loss functions. We consider sparse-penalized regularization for deep neural network predictor. For a general framework that includes, regression estimation, classification, time series prediction,$\cdots$, oracle inequality for the expected excess risk is established and a bound on the class of H\’older smooth functions is provided. For nonparametric regression from strong mixing data and sub-exponentially error, we provide an oracle inequality for the $L_2$ error and investigate an upper bound of this error on a class of H\’older composition functions. For the specific case of nonparametric autoregression with Gaussian and Laplace errors, a lower bound of the $L_2$ error on this H\’older composition class is established. Up to logarithmic factor, this bound matches its upper bound; so, the deep neural network estimator attains the minimax optimal rate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google