Efficient and Effective Augmentation Strategy for Adversarial Training

要約

ディープ ニューラル ネットワークの敵対的トレーニングは、標準的なトレーニングと比較して、データを大量に消費することが知られています。
さらに、AutoAugment などの複雑なデータ拡張は、画像分類子の標準トレーニングで大幅な利益をもたらしましたが、Adversarial Training では成功していません。
まず、トレーニング中の拡張をドメインの一般化の問題と見なすことで、この対照的な動作を説明し、さらに、敵対的トレーニングでデータ拡張を効果的に使用するために、多様な拡張ベースの共同敵対的トレーニング (DAJAT) を提案します。
トレーニング データセットの多様性を高め、テスト分布に近いデータを使用してトレーニングするという相反する目標を処理することを目的としています。これには、トレーニング中に個別のバッチ正規化レイヤーを使用した単純な拡張と複雑な拡張を組み合わせて使用​​します。
さらに、一般的な Jensen-Shannon 発散損失を利用して、多様な拡張機能の共同学習を促進し、単純な拡張機能が複雑な機能の学習を導くことを可能にします。
最後に、提案された方法の計算効率を改善するために、勾配マスキングを防ぐために、増加するイプシロン スケジュールと重み空間平滑化を使用する 2 段階の防御、Ascending Constraint Adversarial Training (ACAT) を提案して利用します。
提案された方法 DAJAT は、ResNet-18 および WideResNet-34-10 の RobustBench Leaderboard の既存の方法と比較して、大幅に優れたロバスト性と精度のトレードオフを実現します。
DAJAT を実装するためのコードは、https://github.com/val-iisc/DAJAT から入手できます。

要約(オリジナル)

Adversarial training of Deep Neural Networks is known to be significantly more data-hungry when compared to standard training. Furthermore, complex data augmentations such as AutoAugment, which have led to substantial gains in standard training of image classifiers, have not been successful with Adversarial Training. We first explain this contrasting behavior by viewing augmentation during training as a problem of domain generalization, and further propose Diverse Augmentation-based Joint Adversarial Training (DAJAT) to use data augmentations effectively in adversarial training. We aim to handle the conflicting goals of enhancing the diversity of the training dataset and training with data that is close to the test distribution by using a combination of simple and complex augmentations with separate batch normalization layers during training. We further utilize the popular Jensen-Shannon divergence loss to encourage the joint learning of the diverse augmentations, thereby allowing simple augmentations to guide the learning of complex ones. Lastly, to improve the computational efficiency of the proposed method, we propose and utilize a two-step defense, Ascending Constraint Adversarial Training (ACAT), that uses an increasing epsilon schedule and weight-space smoothing to prevent gradient masking. The proposed method DAJAT achieves substantially better robustness-accuracy trade-off when compared to existing methods on the RobustBench Leaderboard on ResNet-18 and WideResNet-34-10. The code for implementing DAJAT is available here: https://github.com/val-iisc/DAJAT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google