Concentration inequalities and optimal number of layers for stochastic deep neural networks

要約

確率的深層ニューラル ネットワーク (SDNN) の隠れ層の出力と、SDNN 全体の出力の濃度不等式を示します。
これらの結果により、期待される分類器 (EC) を導入し、EC の分類誤差の確率的上限を与えることができます。
また、最適な停止手順を使用して、SDNN の最適なレイヤー数を示します。
ReLU活性化関数を備えたフィードフォワードニューラルネットワークの確率的バージョンに分析を適用します。

要約(オリジナル)

We state concentration inequalities for the output of the hidden layers of a stochastic deep neural network (SDNN), as well as for the output of the whole SDNN. These results allow us to introduce an expected classifier (EC), and to give probabilistic upper bound for the classification error of the EC. We also state the optimal number of layers for the SDNN via an optimal stopping procedure. We apply our analysis to a stochastic version of a feedforward neural network with ReLU activation function.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google