Boosting Fast Adversarial Training with Learnable Adversarial Initialization

要約

敵対的学習(Adversarial Training, AT)は、敵対的な事例を学習に利用することで、モデルの頑健性を向上させる効果があることが実証されている。しかし、多くのAT手法は、敵対的な学習例を生成する際に、複数のステップで勾配を計算するため、時間と計算コストがかかるという問題を抱えている。そこで、学習効率を高めるために、勾配を一度だけ計算するFast Gradient Sign Method (FGSM)が採用された。しかし、その頑健性は十分とは言えない。その理由の一つは、初期化方法に起因すると考えられる。既存の高速ATでは、一般に標本にとらわれないランダムな初期化が行われており、効率は良いのですが、さらなるロバスト性の向上を妨げています。これまで、高速ATにおける初期化については、まだ広く検討されていない。本論文では、サンプルに依存した敵対的初期化、すなわち、良性画像とその勾配情報を条件とした生成ネットワークからの出力とターゲットネットワークからの出力により、高速ATを後押しする。生成ネットワークとターゲットネットワークは訓練段階において共同で最適化されるため、前者は後者に対して効果的な初期化を適応的に生成することができ、これにより頑健性が徐々に改善される動機となる。4つのベンチマークデータベースを用いた実験評価により、提案手法が最新の高速AT手法よりも優れていること、また、先進的な多段階AT手法と同等の頑健性を持つことを実証する。コードは https://github.com//jiaxiaojunQAQ//FGSM-SDI で公開されています。

要約(オリジナル)

Adversarial training (AT) has been demonstrated to be effective in improving model robustness by leveraging adversarial examples for training. However, most AT methods are in face of expensive time and computational cost for calculating gradients at multiple steps in generating adversarial examples. To boost training efficiency, fast gradient sign method (FGSM) is adopted in fast AT methods by calculating gradient only once. Unfortunately, the robustness is far from satisfactory. One reason may arise from the initialization fashion. Existing fast AT generally uses a random sample-agnostic initialization, which facilitates the efficiency yet hinders a further robustness improvement. Up to now, the initialization in fast AT is still not extensively explored. In this paper, we boost fast AT with a sample-dependent adversarial initialization, i.e., an output from a generative network conditioned on a benign image and its gradient information from the target network. As the generative network and the target network are optimized jointly in the training phase, the former can adaptively generate an effective initialization with respect to the latter, which motivates gradually improved robustness. Experimental evaluations on four benchmark databases demonstrate the superiority of our proposed method over state-of-the-art fast AT methods, as well as comparable robustness to advanced multi-step AT methods. The code is released at https://github.com//jiaxiaojunQAQ//FGSM-SDI.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL