Bag of Tricks for FGSM Adversarial Training

要約

FGSM-ATとして知られるFast Gradient Sign Method (FGSM) によって生成されたサンプルを用いたAdversarial Training (AT) は、ロバストネットワークを学習するための計算機的に簡単な方法である。しかし、その学習手順の途中で、1回の学習ステップでロバスト精度が突然ゼロになる「破局的オーバーフィット」という不安定なモードがarXiv:2001.03994 [cs.LG]で確認されています。既存の手法では，勾配正則化やランダムな初期化を用いてこの問題を軽減しているが，計算量が多く，ロバスト精度も低くなってしまう．そこで、本研究では、3つの観点からトリックを徹底的に検証する初めての研究を行う。本研究では、FGSM-ATにおける壊滅的なオーバーフィッティングを克服するために、データの初期化、ネットワーク構造、最適化の3つの観点から、一連のトリックを徹底的に検証した最初の研究を提供する。 驚くべきことに、我々は、a) 部分画素のマスク（ランダム性がなくても）、b) 大きな畳み込みストライドと滑らかな活性化関数の設定、c) 第1畳み込み層の重みの正則化、という単純なトリックが、オーバーフィッティングの問題に有効に対処できることを見いだした。様々なネットワークアーキテクチャに対する広範な結果によって、提案された各トリックの有効性が検証され、また、トリックの組み合わせも検討されている。例えば、CIFAR-10上のPreActResNet-18で学習させた場合、我々の手法はPGD-50攻撃者に対して49.8%、AutoAttackに対して46.4%の精度を達成し、純粋なFGSM-ATが頑健な学習者を可能にすることを実証している。コードとモデルは、https://github.com/UCSC-VLAA/Bag-of-Tricks-for-FGSM-AT で公開されています。

要約(オリジナル)

Adversarial training (AT) with samples generated by Fast Gradient Sign Method (FGSM), also known as FGSM-AT, is a computationally simple method to train robust networks. However, during its training procedure, an unstable mode of ‘catastrophic overfitting’ has been identified in arXiv:2001.03994 [cs.LG], where the robust accuracy abruptly drops to zero within a single training step. Existing methods use gradient regularizers or random initialization tricks to attenuate this issue, whereas they either take high computational cost or lead to lower robust accuracy. In this work, we provide the first study, which thoroughly examines a collection of tricks from three perspectives: Data Initialization, Network Structure, and Optimization, to overcome the catastrophic overfitting in FGSM-AT. Surprisingly, we find that simple tricks, i.e., a) masking partial pixels (even without randomness), b) setting a large convolution stride and smooth activation functions, or c) regularizing the weights of the first convolutional layer, can effectively tackle the overfitting issue. Extensive results on a range of network architectures validate the effectiveness of each proposed trick, and the combinations of tricks are also investigated. For example, trained with PreActResNet-18 on CIFAR-10, our method attains 49.8% accuracy against PGD-50 attacker and 46.4% accuracy against AutoAttack, demonstrating that pure FGSM-AT is capable of enabling robust learners. The code and models are publicly available at https://github.com/UCSC-VLAA/Bag-of-Tricks-for-FGSM-AT.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL