Wavelet Regularization Benefits Adversarial Training

要約

敵対的学習法は、敵対的な例に対する最先端の(SOTA)経験的防御法である。多くの正則化手法は、敵対的な訓練との組み合わせで有効であることが証明されている。それにもかかわらず、そのような正則化手法は時間領域で実装されている。敵対的な脆弱性は高周波数の現象とみなすことができるため、敵対的に学習されたニューラルネットワークモデルを周波数領域で調節することが不可欠である。このような課題に直面し、我々は、敵対的学習を強化することができるウェーブレットの正則化特性について理論的な分析を行う。我々は、Haarウェーブレット分解に基づくウェーブレット正則化法（Wavelet Average Pooling）を提案し、これをウェーブレット平均プーリングと名付ける。このウェーブレット正則化モジュールは、新しいWideWaveletResNetモデルが形成されるように、ワイド残差ニューラルネットワークに統合される。CIFAR-10とCIFAR-100のデータセットにおいて、提案する逆境ウェーブレット学習法は、様々な種類の攻撃に対して高い頑健性を実現することができました。これは、提案するウェーブレット正則化手法が、特にディープワイドニューラルネットワークにおいて、敵対的攻撃に対する頑健性を高めることができるという仮定を検証するものである。また、本手法の有効性を示すために、周波数原理（F-Principle）および解釈可能性の可視化実験を行った。また、異なるウェーブレット基底関数に基づく詳細な比較も行っている。コードはリポジトリで公開されている。\╱https://github.com/momo1986/AdversarialWaveletTraining

要約(オリジナル)

Adversarial training methods are state-of-the-art (SOTA) empirical defense methods against adversarial examples. Many regularization methods have been proven to be effective with the combination of adversarial training. Nevertheless, such regularization methods are implemented in the time domain. Since adversarial vulnerability can be regarded as a high-frequency phenomenon, it is essential to regulate the adversarially-trained neural network models in the frequency domain. Faced with these challenges, we make a theoretical analysis on the regularization property of wavelets which can enhance adversarial training. We propose a wavelet regularization method based on the Haar wavelet decomposition which is named Wavelet Average Pooling. This wavelet regularization module is integrated into the wide residual neural network so that a new WideWaveletResNet model is formed. On the datasets of CIFAR-10 and CIFAR-100, our proposed Adversarial Wavelet Training method realizes considerable robustness under different types of attacks. It verifies the assumption that our wavelet regularization method can enhance adversarial robustness especially in the deep wide neural networks. The visualization experiments of the Frequency Principle (F-Principle) and interpretability are implemented to show the effectiveness of our method. A detailed comparison based on different wavelet base functions is presented. The code is available at the repository: \url{https://github.com/momo1986/AdversarialWaveletTraining}.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL