Revisiting and Exploring Efficient Fast Adversarial Training via LAW: Lipschitz Regularization and Auto Weight Averaging

要約

高速敵対的トレーニング (FAT) は、モデルの堅牢性を向上させるだけでなく、標準的な敵対的トレーニングのトレーニング コストも削減します。
ただし、高速な敵対的トレーニングでは、壊滅的な過学習 (CO) が発生することが多く、ロバスト性のパフォーマンスが低下します。
壊滅的な過学習とは、高速の敵対的トレーニング中にロバストな精度が突然大幅に低下する現象を指します。
壊滅的な過学習を防止し、さまざまな観点からモデルの堅牢性を向上させるために、多くの効果的な手法が開発されています。
ただし、これらの手法では一貫性のないトレーニング設定が採用されており、異なるトレーニング コスト、つまりトレーニング時間とメモリ コストが必要となるため、不公平な比較につながります。
このペーパーでは、敵対的堅牢性とトレーニング コストの観点から、10 を超える高速敵対的トレーニング方法の包括的な研究を実施します。
モデルの局所非線形性の観点から、壊滅的な過学習を防ぐための高速敵対的トレーニング手法の有効性と効率を再検討し、高速敵対的トレーニングのための効果的なリプシッツ正則化手法を提案します。
さらに、高速敵対的トレーニングにおけるデータ拡張と重み平均の効果を調査し、ロバスト性をさらに向上させるためのシンプルかつ効果的な自動重み平均方法を提案します。
これらの手法を組み合わせて、リプシッツ正則化と自動重み平均化を備えた FGSM ベースの高速敵対的トレーニング手法 (FGSM-LAW と略称) を提案します。
4 つのベンチマーク データベースでの実験評価により、最先端の高速敵対的トレーニング方法や高度な標準的な敵対的トレーニング方法よりも、提案された方法の優位性が実証されています。

要約(オリジナル)

Fast Adversarial Training (FAT) not only improves the model robustness but also reduces the training cost of standard adversarial training. However, fast adversarial training often suffers from Catastrophic Overfitting (CO), which results in poor robustness performance. Catastrophic Overfitting describes the phenomenon of a sudden and significant decrease in robust accuracy during the training of fast adversarial training. Many effective techniques have been developed to prevent Catastrophic Overfitting and improve the model robustness from different perspectives. However, these techniques adopt inconsistent training settings and require different training costs, i.e, training time and memory costs, leading to unfair comparisons. In this paper, we conduct a comprehensive study of over 10 fast adversarial training methods in terms of adversarial robustness and training costs. We revisit the effectiveness and efficiency of fast adversarial training techniques in preventing Catastrophic Overfitting from the perspective of model local nonlinearity and propose an effective Lipschitz regularization method for fast adversarial training. Furthermore, we explore the effect of data augmentation and weight averaging in fast adversarial training and propose a simple yet effective auto weight averaging method to improve robustness further. By assembling these techniques, we propose a FGSM-based fast adversarial training method equipped with Lipschitz regularization and Auto Weight averaging, abbreviated as FGSM-LAW. Experimental evaluations on four benchmark databases demonstrate the superiority of the proposed method over state-of-the-art fast adversarial training methods and the advanced standard adversarial training methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google