Improved Adversarial Training Through Adaptive Instance-wise Loss Smoothing

要約

ディープ ニューラル ネットワークは、敵対的摂動 (人間には知覚できない人工ノイズ) による入力の破損によって、簡単にだまされて誤った予測を行う可能性があります。
これまでのところ、敵対的トレーニングは、そのような敵対的攻撃に対する最も成功した防御でした。
この作業は、敵対的な堅牢性を高めるための敵対的トレーニングの改善に焦点を当てています。
最初に、インスタンスごとの観点から、敵対的トレーニング中に敵対的脆弱性がどのように進化するかを分析します。
トレーニング中、敵対的攻撃に対してより脆弱になるようにかなりの割合のトレーニング サンプルを犠牲にすることで、敵対的損失の全体的な削減が達成されることがわかりました。これにより、データ間の敵対的脆弱性の分布が不均一になります。
このような「不均一な脆弱性」は、いくつかの一般的な堅牢なトレーニング方法で一般的であり、さらに重要なことに、敵対的トレーニングでのオーバーフィッティングに関連しています。
この観察に動機付けられて、私たちは新しい敵対的トレーニング方法を提案します: インスタンス適応型平滑性強化敵対的トレーニング (ISEAT)。
敵対的脆弱性が高いサンプルの堅牢性をさらに高めるために、適応型のインスタンス固有の方法で、入力と減量の両方のランドスケープを共同で平滑化します。
広範な実験により、既存の防御方法に対する私たちの方法の優位性が実証されています。
注目すべきことに、私たちの方法は、最新のデータ増強と半教師あり学習技術と組み合わせると、Wide ResNet34 で 59.32% という CIFAR10 に対する $\ell_{\infty}$-norm 制約付き攻撃に対する最先端のロバスト性を達成します34-
追加データなしの場合は 10、追加データありの Wide ResNet28-10 の場合は 61.55% です。
コードは https://github.com/TreeLLi/Instance-adaptive-Smoothness-Enhanced-AT で入手できます。

要約(オリジナル)

Deep neural networks can be easily fooled into making incorrect predictions through corruption of the input by adversarial perturbations: human-imperceptible artificial noise. So far adversarial training has been the most successful defense against such adversarial attacks. This work focuses on improving adversarial training to boost adversarial robustness. We first analyze, from an instance-wise perspective, how adversarial vulnerability evolves during adversarial training. We find that during training an overall reduction of adversarial loss is achieved by sacrificing a considerable proportion of training samples to be more vulnerable to adversarial attack, which results in an uneven distribution of adversarial vulnerability among data. Such ‘uneven vulnerability’, is prevalent across several popular robust training methods and, more importantly, relates to overfitting in adversarial training. Motivated by this observation, we propose a new adversarial training method: Instance-adaptive Smoothness Enhanced Adversarial Training (ISEAT). It jointly smooths both input and weight loss landscapes in an adaptive, instance-specific, way to enhance robustness more for those samples with higher adversarial vulnerability. Extensive experiments demonstrate the superiority of our method over existing defense methods. Noticeably, our method, when combined with the latest data augmentation and semi-supervised learning techniques, achieves state-of-the-art robustness against $\ell_{\infty}$-norm constrained attacks on CIFAR10 of 59.32% for Wide ResNet34-10 without extra data, and 61.55% for Wide ResNet28-10 with extra data. Code is available at https://github.com/TreeLLi/Instance-adaptive-Smoothness-Enhanced-AT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google