Understanding Adversarial Robustness from Feature Maps of Convolutional Layers

要約

ニューラル ネットワークの敵対的堅牢性は、主にモデル能力と摂動防止能力という 2 つの要素に依存します。
この論文では、畳み込み層の特徴マップからネットワークの抗摂動能力を研究します。
私たちの理論的分析により、平均プーリング前のより大きな畳み込み特徴マップが摂動に対するより優れた耐性に寄与できることがわかりましたが、その結論は最大プーリングには当てはまりません。
これは、堅牢なニューラル ネットワークの設計に新しいインスピレーションをもたらし、これらの発見を既存のアーキテクチャの改善に適用するよう促します。
提案された変更は非常に簡単で、入力をアップサンプリングするか、ダウンサンプリング演算子のストライド構成をわずかに変更するだけです。
AlexNet、VGG、RestNet18、PreActResNet18 など、いくつかのベンチマーク ニューラル ネットワーク アーキテクチャでアプローチを検証します。
さまざまな攻撃および防御メカニズムの下で、自然な精度と敵対的な堅牢性の両方の点で重要な改善を達成できます。
コードは \url{https://github.com/MTandHJ/rcm} で入手できます。

要約(オリジナル)

The adversarial robustness of a neural network mainly relies on two factors: model capacity and anti-perturbation ability. In this paper, we study the anti-perturbation ability of the network from the feature maps of convolutional layers. Our theoretical analysis discovers that larger convolutional feature maps before average pooling can contribute to better resistance to perturbations, but the conclusion is not true for max pooling. It brings new inspiration to the design of robust neural networks and urges us to apply these findings to improve existing architectures. The proposed modifications are very simple and only require upsampling the inputs or slightly modifying the stride configurations of downsampling operators. We verify our approaches on several benchmark neural network architectures, including AlexNet, VGG, RestNet18, and PreActResNet18. Non-trivial improvements in terms of both natural accuracy and adversarial robustness can be achieved under various attack and defense mechanisms. The code is available at \url{https://github.com/MTandHJ/rcm}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google