Statistically guided deep learning

要約

ノンパラメトリック回帰のために、理論的には十分に根拠のある深い学習アルゴリズムを提示します。
ロジスティックアクティベーション関数を備えた過剰なパラメトリングディープニューラルネットワークを使用します。これは、勾配降下を介して与えられたデータに適合します。
これらのネットワークの特別なトポロジー、重みの特別なランダム初期化、学習率と勾配降下手順のデータ依存的選択を提案します。
この推定値の予想される$ L_2 $エラーに理論的にバインドされていることを証明し、シミュレートされたデータに適用することにより、その有限サンプルサイズのパフォーマンスを示します。
我々の結果は、最適化、一般化、および近似を同時に考慮した深い学習の理論的分析により、有限のサンプルパフォーマンスが向上する新しい深い学習推定値をもたらす可能性があることを示しています。

要約(オリジナル)

We present a theoretically well-founded deep learning algorithm for nonparametric regression. It uses over-parametrized deep neural networks with logistic activation function, which are fitted to the given data via gradient descent. We propose a special topology of these networks, a special random initialization of the weights, and a data-dependent choice of the learning rate and the number of gradient descent steps. We prove a theoretical bound on the expected $L_2$ error of this estimate, and illustrate its finite sample size performance by applying it to simulated data. Our results show that a theoretical analysis of deep learning which takes into account simultaneously optimization, generalization and approximation can result in a new deep learning estimate which has an improved finite sample performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google