MIMIR: Masked Image Modeling for Mutual Information-based Adversarial Robustness

要約

ビジョン トランスフォーマー (ViT) は、畳み込みニューラル ネットワーク (CNN) と比較してさまざまなタスクで優れたパフォーマンスを実現しますが、敵対的な攻撃に対して脆弱でもあります。
敵対的トレーニングは、堅牢な CNN モデルを構築する最も成功した方法の 1 つです。
したがって、最近の研究では、より優れたトレーニング戦略、注意が単一のブロックに集中するのを防ぐ、または注目度の低い埋め込みを破棄するなど、ViT と CNN の違いに基づいて、ViT の敵対的トレーニングのための新しい方法論が検討されました。
ただし、これらの方法は依然として従来の教師あり敵対的トレーニングの設計に従っており、ViT での敵対的トレーニングの可能性が制限されています。
この論文は、事前トレーニング時にマスク画像モデリングを利用することにより、異なる敵対的トレーニング方法論を構築することを目的とした新しい防御方法である MIMIR を提案します。
敵対的なサンプルを入力として受け入れますが、クリーンなサンプルをモデリングターゲットとして受け取るオートエンコーダーを作成します。
次に、情報ボトルネックの考え方に従って相互情報 (MI) ペナルティを作成します。
2 つの情報源入力とそれに対応する敵対的摂動のうち、摂動情報はモデル化対象の制約により除去されます。
次に、MI ペナルティの境界を使用した MIMIR の理論的分析を提供します。
また、敵対者が MIMIR 防御を認識している場合の 2 つの適応攻撃を設計し、MIMIR が依然として良好に機能することを示します。
実験結果は、MIMIR がベースラインと比較して、(自然および敵対的な) 精度を平均で CIFAR-10 で 4.19\%、ImageNet-1K で 5.52\% 向上させることを示しています。
Tiny-ImageNet では、平均 2.99\% の自然精度の向上と、同等の敵対的精度が得られました。
私たちのコードとトレーニング済みモデルは一般に公開されています\脚注{\url{https://anonymous.4open.science/r/MIMIR-5444/README.md}}。

要約(オリジナル)

Vision Transformers (ViTs) achieve superior performance on various tasks compared to convolutional neural networks (CNNs), but ViTs are also vulnerable to adversarial attacks. Adversarial training is one of the most successful methods to build robust CNN models. Thus, recent works explored new methodologies for adversarial training of ViTs based on the differences between ViTs and CNNs, such as better training strategies, preventing attention from focusing on a single block, or discarding low-attention embeddings. However, these methods still follow the design of traditional supervised adversarial training, limiting the potential of adversarial training on ViTs. This paper proposes a novel defense method, MIMIR, which aims to build a different adversarial training methodology by utilizing Masked Image Modeling at pre-training. We create an autoencoder that accepts adversarial examples as input but takes the clean examples as the modeling target. Then, we create a mutual information (MI) penalty following the idea of the Information Bottleneck. Among the two information source inputs and corresponding adversarial perturbation, the perturbation information is eliminated due to the constraint of the modeling target. Next, we provide a theoretical analysis of MIMIR using the bounds of the MI penalty. We also design two adaptive attacks when the adversary is aware of the MIMIR defense and show that MIMIR still performs well. The experimental results show that MIMIR improves (natural and adversarial) accuracy on average by 4.19\% on CIFAR-10 and 5.52\% on ImageNet-1K, compared to baselines. On Tiny-ImageNet, we obtained improved natural accuracy of 2.99\% on average and comparable adversarial accuracy. Our code and trained models are publicly available\footnote{\url{https://anonymous.4open.science/r/MIMIR-5444/README.md}}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google