On Rademacher Complexity-based Generalization Bounds for Deep Learning

要約

Rademacher の複雑度ベースのアプローチにより、少数の画像クラスを分類するために畳み込みニューラル ネットワーク (CNN) 上で非空の一般化境界を生成できることを示します。
一般的なリプシッツ活性化関数の関数空間と CNN の間の高次元マッピングのための新しいタラグランドの短縮補題の開発は、重要な技術的貢献です。
私たちの結果は、ReLU、Leaky ReLU、Parametric Rectifier Linear Unit、Sigmoid、Tanh などの特殊なタイプの活性化関数を備えた CNN では、Rademacher の複雑さがネットワーク長に依存しないことを示しています。

要約(オリジナル)

We show that the Rademacher complexity-based approach can generate non-vacuous generalisation bounds on Convolutional Neural Networks (CNNs) for classifying a small number of classes of images. The development of new Talagrand’s contraction lemmas for high-dimensional mappings between function spaces and CNNs for general Lipschitz activation functions is a key technical contribution. Our results show that the Rademacher complexity does not depend on the network length for CNNs with some special types of activation functions such as ReLU, Leaky ReLU, Parametric Rectifier Linear Unit, Sigmoid, and Tanh.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google