Fantastic Generalization Measures are Nowhere to be Found

要約

私たちは、汎化限界が均一に狭いという概念を研究します。これは、すべての学習アルゴリズムとすべての母集団分布において、限界と母集団損失の差が小さいことを意味します。
過剰パラメータ化された設定でニューラル ネットワークの一般化能力を説明できる可能性として、文献で多数の一般化限界が提案されています。
しかし、Jiang らは論文「Fantastic Generalization Strategies and Where to Find Them」の中で次のように述べています。
(2020) は 12 を超える一般化限界を検討し、そのどれも均一に厳密ではないことを経験的に示しました。
これは、オーバーパラメータ設定において一様に厳しい一般化限界がそもそも可能なのかどうかという疑問を引き起こします。
我々は 2 つのタイプの汎化限界を考慮します: (1) トレーニングセットと学習された仮説に依存する可能性のある限界 (例: マージン限界)。
オーバーパラメータ化された設定では、そのような境界を一律に厳密にすることはできないことが数学的に証明されています。
(2) さらに、学習アルゴリズムにも依存する可能性のある境界 (安定性境界など)。
これらの境界について、アルゴリズムのパフォーマンスと境界の厳しさの間のトレードオフを示します。
つまり、アルゴリズムが特定の分布で良好な精度を達成する場合、オーバーパラメーター化された設定では、一般化限界を一律に厳密にすることはできません。
私たちの見解では、これらの正式な結果がニューラル ネットワークの一般化限界に関する研究にどのように情報を提供できるかを説明するとともに、これらの結果の他の解釈も可能であることを強調します。

要約(オリジナル)

We study the notion of a generalization bound being uniformly tight, meaning that the difference between the bound and the population loss is small for all learning algorithms and all population distributions. Numerous generalization bounds have been proposed in the literature as potential explanations for the ability of neural networks to generalize in the overparameterized setting. However, in their paper “Fantastic Generalization Measures and Where to Find Them,” Jiang et al. (2020) examine more than a dozen generalization bounds, and show empirically that none of them are uniformly tight. This raises the question of whether uniformly-tight generalization bounds are at all possible in the overparameterized setting. We consider two types of generalization bounds: (1) bounds that may depend on the training set and the learned hypothesis (e.g., margin bounds). We prove mathematically that no such bound can be uniformly tight in the overparameterized setting; (2) bounds that may in addition also depend on the learning algorithm (e.g., stability bounds). For these bounds, we show a trade-off between the algorithm’s performance and the bound’s tightness. Namely, if the algorithm achieves good accuracy on certain distributions, then no generalization bound can be uniformly tight for it in the overparameterized setting. We explain how these formal results can, in our view, inform research on generalization bounds for neural networks, while stressing that other interpretations of these results are also possible.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google