Aliasing is a Driver of Adversarial Attacks

要約

エイリアシングは信号処理において非常に重要な概念です。オーディオ、画像、およびビデオの伝送および処理品質を確保するには、解像度の変更を慎重に検討することが不可欠です。
それにもかかわらず、最近までエイリアシングはディープラーニングでほとんど考慮されておらず、すべての一般的なアーキテクチャはエイリアシング効果を考慮せずに不用意にサブサンプリングしていました。
この作業では、敵対的摂動の存在はニューラル ネットワークのエイリアシングが原因の一部であるという仮説を調査します。
私たちの最終的な目標は、エイリアシングの第一原理から導き出された、説明可能な、訓練されていない、構造上の変更のみを使用して、敵対的な攻撃に対する堅牢性を高めることです。
私たちの貢献は次のとおりです。
まず、一般的な画像変換に対してエイリアシングが発生しないための十分条件を確立します。
次に、一般的なニューラル ネットワーク層のエイリアシングの原因を調査し、第一原理から単純な修正を導き出し、エイリアシングを排除または削減します。
最後に、私たちの実験結果は、アンチエイリアシングと敵対的攻撃の間の確固たるつながりを示しています。
エイリアシングを減らすだけで、より堅牢な分類器が得られます。アンチエイリアシングと堅牢なトレーニングを組み合わせることで、$L_{\infty}$ 攻撃でのパフォーマンスの損失がまったくないか最小限に抑えられ、$L_2$ 攻撃に対する単独の堅牢なトレーニングよりも優れたパフォーマンスを発揮します。

要約(オリジナル)

Aliasing is a highly important concept in signal processing, as careful consideration of resolution changes is essential in ensuring transmission and processing quality of audio, image, and video. Despite this, up until recently aliasing has received very little consideration in Deep Learning, with all common architectures carelessly sub-sampling without considering aliasing effects. In this work, we investigate the hypothesis that the existence of adversarial perturbations is due in part to aliasing in neural networks. Our ultimate goal is to increase robustness against adversarial attacks using explainable, non-trained, structural changes only, derived from aliasing first principles. Our contributions are the following. First, we establish a sufficient condition for no aliasing for general image transformations. Next, we study sources of aliasing in common neural network layers, and derive simple modifications from first principles to eliminate or reduce it. Lastly, our experimental results show a solid link between anti-aliasing and adversarial attacks. Simply reducing aliasing already results in more robust classifiers, and combining anti-aliasing with robust training out-performs solo robust training on $L_2$ attacks with none or minimal losses in performance on $L_{\infty}$ attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google