Bridging the Performance Gap between FGSM and PGD Adversarial Training

要約

ディープラーニングは多くのタスクで最先端の性能を発揮するが、敵対的な事例に対する根本的な脆弱性を露呈している。既存の防御技術全体では、投影勾配ディセント攻撃（adv.PGD）による敵対的学習は、適度な敵対的頑健性を実現する最も有効な方法の一つと考えられている。しかし、投影勾配攻撃（PGD）は摂動を生成するために複数回の反復を必要とするため、adv.PGDは訓練時間がかかりすぎる。一方，高速勾配符号法(FGSM)を用いた敵対的学習は，擾乱の生成に1ステップを要するため，学習時間は大幅に短縮されるが，敵対的頑健性を高めることはできない．本研究では，adv.FGSMを拡張し，adv.PGDの敵対的頑健性を達成させる．その結果，FGSMの摂動方向に沿った大きな曲率が，adv.FGSMとadv.PGDの間の敵対的頑健性の性能差につながることを示し，adv.FGSMと曲率正則化（adv.FGSMR）の組み合わせにより，両者の性能差に橋をかける提案をした．実験により，adv.FGSMRはadv.PGDよりも高い学習効率を持つことが示された．また，MNISTデータセットにおいて，ホワイトボックス攻撃に対して同程度の敵対的頑健性を達成し，CIFAR-10データセットにおいて，ホワイトボックス攻撃に対してadv.PGDより優れた性能を達成し，伝達性敵対的攻撃を効果的に防御することができた．

要約(オリジナル)

Deep learning achieves state-of-the-art performance in many tasks but exposes to the underlying vulnerability against adversarial examples. Across existing defense techniques, adversarial training with the projected gradient decent attack (adv.PGD) is considered as one of the most effective ways to achieve moderate adversarial robustness. However, adv.PGD requires too much training time since the projected gradient attack (PGD) takes multiple iterations to generate perturbations. On the other hand, adversarial training with the fast gradient sign method (adv.FGSM) takes much less training time since the fast gradient sign method (FGSM) takes one step to generate perturbations but fails to increase adversarial robustness. In this work, we extend adv.FGSM to make it achieve the adversarial robustness of adv.PGD. We demonstrate that the large curvature along FGSM perturbed direction leads to a large difference in performance of adversarial robustness between adv.FGSM and adv.PGD, and therefore propose combining adv.FGSM with a curvature regularization (adv.FGSMR) in order to bridge the performance gap between adv.FGSM and adv.PGD. The experiments show that adv.FGSMR has higher training efficiency than adv.PGD. In addition, it achieves comparable performance of adversarial robustness on MNIST dataset under white-box attack, and it achieves better performance than adv.PGD under white-box attack and effectively defends the transferable adversarial attack on CIFAR-10 dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL