Robustness Implies Generalization via Data-Dependent Generalization Bounds

要約

この論文は、ロバスト性がデータ依存の一般化境界を介した一般化を意味することを証明します。
その結果、堅牢性と一般化はデータに依存する方法で密接に関連していることが示されています。
私たちの境界は、2010年以来ほとんど開発されていない未解決の問題を解決するために、2つの方向で以前の境界を改善します。最初は、カバー数への依存を減らすことです。
2つ目は、仮説空間への依存を取り除くことです。
投げ縄や深層学習の例を含め、いくつかの例を示します。これらの例では、境界が明らかに望ましいと言えます。
実世界のデータと理論モデルでの実験は、さまざまな状況でほぼ指数関数的な改善を示しています。
これらの改善を達成するために、未知の分布に関する追加の仮定は必要ありません。
代わりに、トレーニングサンプルの観察可能で計算可能なプロパティのみを組み込みます。
重要な技術革新は、ロバスト性と一般化を超えて独立した関心を持つ多項確率変数の集中力の向上です。

要約(オリジナル)

This paper proves that robustness implies generalization via data-dependent generalization bounds. As a result, robustness and generalization are shown to be connected closely in a data-dependent manner. Our bounds improve previous bounds in two directions, to solve an open problem that has seen little development since 2010. The first is to reduce the dependence on the covering number. The second is to remove the dependence on the hypothesis space. We present several examples, including ones for lasso and deep learning, in which our bounds are provably preferable. The experiments on real-world data and theoretical models demonstrate near-exponential improvements in various situations. To achieve these improvements, we do not require additional assumptions on the unknown distribution; instead, we only incorporate an observable and computable property of the training samples. A key technical innovation is an improved concentration bound for multinomial random variables that is of independent interest beyond robustness and generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google