Towards Defending Multiple $\ell_p$-norm Bounded Adversarial Perturbations via Gated Batch Normalization

要約

ディープ ニューラル ネットワークが敵対的な例に対して脆弱であることを示す広範な証拠があり、これが敵対的な攻撃に対する防御の開発の動機となっています。
既存の敵対的防御は通常、個々の特定の摂動タイプ (\eg $\ell_{\infty}$-norm 境界のある敵対的な例) に対するモデルの堅牢性を向上させます。
しかし、実際には、攻撃者は複数のタイプの摂動 (\eg、$\ell_1$、$\ell_2$、$\ell_{\infty}$ の摂動) を生成する可能性があります。
最近のいくつかの手法は、複数の $\ell_p$ ボールにおける敵対的攻撃に対するモデルの堅牢性を向上させていますが、各摂動タイプに対するパフォーマンスはまだ満足のいくものとは程遠いです。
この論文では、さまざまな $\ell_p$ 境界付き敵対的摂動が、バッチ正規化 (BN) の統計によって分離および特徴付けできるさまざまな統計的特性を引き起こすことを観察します。
したがって、我々は、複数の $\ell_p$ 境界のある敵対的摂動を防御するために、摂動不変予測子を敵対的に訓練するためのゲートバッチ正規化 (GBN) を提案します。
GBN は、マルチブランチ BN 層とゲート サブネットワークで構成されます。
GBN の各 BN ブランチは 1 つの摂動タイプを担当し、正規化された出力が摂動不変表現の学習に向けて確実に調整されるようにします。
一方、ゲートされたサブネットワークは、さまざまな種類の摂動が追加された入力を分離するように設計されています。
私たちは、MNIST、CIFAR-10、Tiny-ImageNet などの一般的に使用されるデータセットに対してアプローチの広範な評価を実行し、GBN が複数の摂動タイプ (\ie $\ell_1$、$\ell_2$) に対して以前の防御提案よりも優れていることを実証しました。
、$\ell_{\infty}$ 摂動) に大きな差を付けています。

要約(オリジナル)

There has been extensive evidence demonstrating that deep neural networks are vulnerable to adversarial examples, which motivates the development of defenses against adversarial attacks. Existing adversarial defenses typically improve model robustness against individual specific perturbation types (\eg, $\ell_{\infty}$-norm bounded adversarial examples). However, adversaries are likely to generate multiple types of perturbations in practice (\eg, $\ell_1$, $\ell_2$, and $\ell_{\infty}$ perturbations). Some recent methods improve model robustness against adversarial attacks in multiple $\ell_p$ balls, but their performance against each perturbation type is still far from satisfactory. In this paper, we observe that different $\ell_p$ bounded adversarial perturbations induce different statistical properties that can be separated and characterized by the statistics of Batch Normalization (BN). We thus propose Gated Batch Normalization (GBN) to adversarially train a perturbation-invariant predictor for defending multiple $\ell_p$ bounded adversarial perturbations. GBN consists of a multi-branch BN layer and a gated sub-network. Each BN branch in GBN is in charge of one perturbation type to ensure that the normalized output is aligned towards learning perturbation-invariant representation. Meanwhile, the gated sub-network is designed to separate inputs added with different perturbation types. We perform an extensive evaluation of our approach on commonly-used dataset including MNIST, CIFAR-10, and Tiny-ImageNet, and demonstrate that GBN outperforms previous defense proposals against multiple perturbation types (\ie, $\ell_1$, $\ell_2$, and $\ell_{\infty}$ perturbations) by large margins.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google