How Spurious Features Are Memorized: Precise Analysis for Random and NTK Features

要約

深層学習モデルは、トレーニング データセット内の偽の特徴をオーバーフィットして記憶することが知られています。
この現象を理解することを目的とした多くの実証研究が行われてきましたが、それを定量化するための厳密な理論的枠組みはまだ不足しています。
この論文では、学習タスクと相関関係のない偽の特徴を考慮し、(i) 個々のトレーニング サンプルに関するモデルの安定性、(ii) という 2 つの別々の用語によってそれらがどのように記憶されるかを正確に特徴付けします。
) スプリアス特徴と完全なサンプルの間の特徴の位置合わせ。
最初の用語は学習理論で十分に確立されており、古典的な研究における一般化の誤りに関連していますが、2 番目の用語は、私たちの知る限りでは新しいものです。
私たちの重要な技術的成果は、ランダム特徴 (RF) 回帰とニューラル タンジェント カーネル (NTK) 回帰の 2 つのプロトタイプ設定における特徴アライメントの正確な特徴付けを提供します。
私たちは、一般化能力が増加するにつれて偽の特徴の記憶が弱くなることを証明し、特徴の位置合わせの分析を通じて、モデルとその活性化関数の役割を明らかにします。
数値実験は、標準データセット (MNIST、CIFAR-10) に関する理論の予測力を示しています。

要約(オリジナル)

Deep learning models are known to overfit and memorize spurious features in the training dataset. While numerous empirical studies have aimed at understanding this phenomenon, a rigorous theoretical framework to quantify it is still missing. In this paper, we consider spurious features that are uncorrelated with the learning task, and we provide a precise characterization of how they are memorized via two separate terms: (i) the stability of the model with respect to individual training samples, and (ii) the feature alignment between the spurious feature and the full sample. While the first term is well established in learning theory and it is connected to the generalization error in classical work, the second one is, to the best of our knowledge, novel. Our key technical result gives a precise characterization of the feature alignment for the two prototypical settings of random features (RF) and neural tangent kernel (NTK) regression. We prove that the memorization of spurious features weakens as the generalization capability increases and, through the analysis of the feature alignment, we unveil the role of the model and of its activation function. Numerical experiments show the predictive power of our theory on standard datasets (MNIST, CIFAR-10).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google