First line of defense: A robust first layer mitigates adversarial attacks

要約

敵対的トレーニング (AT) は大量の計算オーバーヘッドを引き起こすため、本質的に堅牢なアーキテクチャの設計への関心が高まっています。
慎重に設計されたニューラル ネットワークの最初の層が暗黙的な敵対的ノイズ フィルター (ANF) として機能できることを示します。
このフィルターは、大きなカーネル サイズ、増加した畳み込みフィルター、および maxpool 操作を組み合わせて使用​​して作成されます。
このフィルターを ResNet、VGG、EfficientNet などのアーキテクチャの最初の層として統合すると、敵対的に堅牢なネットワークが得られることを示します。
私たちのアプローチは、AT を使用しない既存のネイティブで堅牢なアーキテクチャよりも高い敵対的精度を達成し、幅広いデータセットにわたって敵対的にトレーニングされたアーキテクチャと競合します。
私たちの発見を裏付けるものとして、(a) 私たちの方法の決定領域はより良いマージンを持っている、(b) 視覚化された損失表面はより滑らかである、(c) の出力における修正されたピーク信号対雑音比 (mPSNR) 値が示されています。
ANF が高く、(d) 高周波成分がより減衰し、(e) ANF を組み込んだアーキテクチャは、ベースライン アーキテクチャと比較してガウス ノイズのノイズ除去が優れています。
すべての実験のコードは \url{https://github.com/janani-suresh-97/first-line-defence.git} で入手できます。

要約(オリジナル)

Adversarial training (AT) incurs significant computational overhead, leading to growing interest in designing inherently robust architectures. We demonstrate that a carefully designed first layer of the neural network can serve as an implicit adversarial noise filter (ANF). This filter is created using a combination of large kernel size, increased convolution filters, and a maxpool operation. We show that integrating this filter as the first layer in architectures such as ResNet, VGG, and EfficientNet results in adversarially robust networks. Our approach achieves higher adversarial accuracies than existing natively robust architectures without AT and is competitive with adversarial-trained architectures across a wide range of datasets. Supporting our findings, we show that (a) the decision regions for our method have better margins, (b) the visualized loss surfaces are smoother, (c) the modified peak signal-to-noise ratio (mPSNR) values at the output of the ANF are higher, (d) high-frequency components are more attenuated, and (e) architectures incorporating ANF exhibit better denoising in Gaussian noise compared to baseline architectures. Code for all our experiments are available at \url{https://github.com/janani-suresh-97/first-line-defence.git}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google