Understanding Overfitting in Adversarial Training via Kernel Regression

要約

【タイトル】カーネル回帰を用いた敵対的トレーニングにおける過学習の理解

【要約】
– 敵対的トレーニングとノイズを持つデータ拡張は、ニューラルネットワークの性能向上のために広く採用されている技術である
– 本論文では、再生核ヒルベルト空間(RKHS)における正規化回帰の文脈で、敵対的トレーニングとノイズを持つデータ拡張について調べる
– 攻撃とノイズのサイズ、正則化パラメーターがゼロに近づくにつれて、これらの技術の限界式を確立する
– この限界式に基づいて、特定のシナリオを分析し、正しい正規化がなければ、これらの2つの方法は標準的なカーネル回帰よりも大きな汎化誤差とリプシッツ定数があることを示す
– ただし、適切な正則化パラメーターを選択することで、これらの2つの方法は標準的なカーネル回帰を上回り、より小さな汎化誤差とリプシッツ定数を実現できる
– これらの結果は、敵対的トレーニングが過学習につながることや、早期停止などの適切な正規化手法がこれを緩和することを示している。

要約(オリジナル)

Adversarial training and data augmentation with noise are widely adopted techniques to enhance the performance of neural networks. This paper investigates adversarial training and data augmentation with noise in the context of regularized regression in a reproducing kernel Hilbert space (RKHS). We establish the limiting formula for these techniques as the attack and noise size, as well as the regularization parameter, tend to zero. Based on this limiting formula, we analyze specific scenarios and demonstrate that, without appropriate regularization, these two methods may have larger generalization error and Lipschitz constant than standard kernel regression. However, by selecting the appropriate regularization parameter, these two methods can outperform standard kernel regression and achieve smaller generalization error and Lipschitz constant. These findings support the empirical observations that adversarial training can lead to overfitting, and appropriate regularization methods, such as early stopping, can alleviate this issue.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI