On Rademacher Complexity-based Generalization Bounds for Deep Learning

要約

Rademacherの複雑さベースのフレームワークは、小さな画像クラスのセットを分類するというコンテキストで、畳み込みニューラルネットワーク（CNNS）の非vacuous一般化境界を確立できることを示します。
重要な技術的進歩は、一般的なLippschitz活性化関数向けに特別に設計された、ベクトル空間間の高次元マッピングのための新規収縮補題の定式化です。
これらの補題は、より広い範囲のシナリオでタラグランドの収縮補題を拡張し、改良します。
私たちのRademacherの複雑さは、Golowichらによって提示された結果を強化します。
Reluベースのディープニューラルネットワーク（DNNS）の場合。
さらに、Rademacherの複雑さを利用する以前の作品は主にRelu DNNSに焦点を合わせていますが、結果はより広いクラスの活性化関数に一般化されています。

要約(オリジナル)

We show that the Rademacher complexity-based framework can establish non-vacuous generalization bounds for Convolutional Neural Networks (CNNs) in the context of classifying a small set of image classes. A key technical advancement is the formulation of novel contraction lemmas for high-dimensional mappings between vector spaces, specifically designed for general Lipschitz activation functions. These lemmas extend and refine the Talagrand contraction lemma across a broader range of scenarios. Our Rademacher complexity bound provides an enhancement over the results presented by Golowich et al. for ReLU-based Deep Neural Networks (DNNs). Moreover, while previous works utilizing Rademacher complexity have primarily focused on ReLU DNNs, our results generalize to a wider class of activation functions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google