Boosting Fast Adversarial Training with Learnable Adversarial Initialization

要約

敵対的トレーニング（AT）は、敵対的例をトレーニングに活用することにより、モデルの堅牢性を向上させるのに効果的であることが実証されています。
ただし、ほとんどのATメソッドは、敵対的な例を生成する際に複数のステップで勾配を計算するための高価な時間と計算コストに直面しています。
トレーニング効率を高めるために、勾配を1回だけ計算することにより、高速AT法に高速勾配符号法（FGSM）が採用されています。
残念ながら、堅牢性は決して満足できるものではありません。
初期化の方法から1つの理由が生じる可能性があります。
既存の高速ATは通常、ランダムなサンプルに依存しない初期化を使用します。これにより、効率は向上しますが、堅牢性のさらなる向上は妨げられます。
これまで、高速ATでの初期化はまだ広く検討されていません。
この論文では、サンプルに依存する敵対的初期化、つまり、良性画像を条件とする生成ネットワークからの出力と、ターゲットネットワークからの勾配情報を使用して高速ATをブーストします。
生成ネットワークとターゲットネットワークはトレーニングフェーズで共同で最適化されるため、前者は後者に対して効果的な初期化を適応的に生成でき、徐々に改善された堅牢性を促進します。
4つのベンチマークデータベースでの実験的評価は、最先端の高速AT手法に対する提案手法の優位性と、高度なマルチステップAT手法に匹敵する堅牢性を示しています。
コードはhttps://github.com//jiaxiaojunQAQ//FGSM-SDIでリリースされています。

要約(オリジナル)

Adversarial training (AT) has been demonstrated to be effective in improving model robustness by leveraging adversarial examples for training. However, most AT methods are in face of expensive time and computational cost for calculating gradients at multiple steps in generating adversarial examples. To boost training efficiency, fast gradient sign method (FGSM) is adopted in fast AT methods by calculating gradient only once. Unfortunately, the robustness is far from satisfactory. One reason may arise from the initialization fashion. Existing fast AT generally uses a random sample-agnostic initialization, which facilitates the efficiency yet hinders a further robustness improvement. Up to now, the initialization in fast AT is still not extensively explored. In this paper, we boost fast AT with a sample-dependent adversarial initialization, i.e., an output from a generative network conditioned on a benign image and its gradient information from the target network. As the generative network and the target network are optimized jointly in the training phase, the former can adaptively generate an effective initialization with respect to the latter, which motivates gradually improved robustness. Experimental evaluations on four benchmark databases demonstrate the superiority of our proposed method over state-of-the-art fast AT methods, as well as comparable robustness to advanced multi-step AT methods. The code is released at https://github.com//jiaxiaojunQAQ//FGSM-SDI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google