Architecture independent generalization bounds for overparametrized deep ReLU networks

要約

オーバーパラメトリングニューラルネットワークは、オーバーパラメーター化のレベルに依存しないテストエラーで一般化できることを証明します。
テストおよびトレーニングセットのメトリックジオメトリのみ、アクティベーション関数の規則性特性、およびバイアスの重みと規範の演算子基準にのみ依存する明示的な境界を証明します。
入力スペースのディメンションに囲まれたトレーニングサンプルサイズを備えたオーバーパラメトリングディープライルネットワークの場合、勾配降下を使用せずにゼロ損失ミニマイズを明示的に構築し、一般化エラーがネットワークアーキテクチャに依存しないことを証明します。

要約(オリジナル)

We prove that overparametrized neural networks are able to generalize with a test error that is independent of the level of overparametrization, and independent of the Vapnik-Chervonenkis (VC) dimension. We prove explicit bounds that only depend on the metric geometry of the test and training sets, on the regularity properties of the activation function, and on the operator norms of the weights and norms of biases. For overparametrized deep ReLU networks with a training sample size bounded by the input space dimension, we explicitly construct zero loss minimizers without use of gradient descent, and prove that the generalization error is independent of the network architecture.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google