MIMIR: Masked Image Modeling for Mutual Information-based Adversarial Robustness

要約

ビジョン トランスフォーマー (ViT) は、さまざまなタスクで優れたパフォーマンスを実現しますが、敵対的な攻撃に対して脆弱でもあります。
堅牢な ViT の構築は、専用の敵対的トレーニング (AT) 戦略に大きく依存します。
ただし、現在の ViT の敵対的トレーニングは、畳み込みニューラル ネットワーク (CNN) トレーニングからの確立されたトレーニング アプローチのみを採用しており、事前トレーニングは、カスタマイズされたデータ拡張の追加の助けを借りて AT 微調整の基礎を提供します。
この論文では、オートエンコーダベースの自己教師あり事前トレーニングで新しい理論的な相互情報 (MI) 分析を提供することにより、ViT の敵対的堅牢性を詳しく調べます。
具体的には、ViT ベースのオートエンコーダにおける敵対的な例とその潜在表現の間の MI は、MI 境界を利用することで制約されるべきであることを示します。
この発見に基づいて、我々は、ViT の敵対的トレーニングを容易にするために MI ペナルティを採用する、マスクされたオートエンコーダベースの事前トレーニング方法、MIMIR を提案します。
広範な実験により、MIMIR はベンチマーク データセット上で敵対的にトレーニングされた最先端の ViT よりも高い自然でロバストな精度で優れたパフォーマンスを発揮することが示されており、ViT が MI を活用することで大きな利益を得ることができることが示されています。
さらに、攻撃者が MIMIR 設計を認識していると仮定して 2 つの適応型攻撃を検討し、提供される堅牢性をさらに検証します。

要約(オリジナル)

Vision Transformers (ViTs) achieve excellent performance in various tasks, but they are also vulnerable to adversarial attacks. Building robust ViTs is highly dependent on dedicated Adversarial Training (AT) strategies. However, current ViTs’ adversarial training only employs well-established training approaches from convolutional neural network (CNN) training, where pre-training provides the basis for AT fine-tuning with the additional help of tailored data augmentations. In this paper, we take a closer look at the adversarial robustness of ViTs by providing a novel theoretical Mutual Information (MI) analysis in its autoencoder-based self-supervised pre-training. Specifically, we show that MI between the adversarial example and its latent representation in ViT-based autoencoders should be constrained by utilizing the MI bounds. Based on this finding, we propose a masked autoencoder-based pre-training method, MIMIR, that employs an MI penalty to facilitate the adversarial training of ViTs. Extensive experiments show that MIMIR outperforms state-of-the-art adversarially trained ViTs on benchmark datasets with higher natural and robust accuracy, indicating that ViTs can substantially benefit from exploiting MI. In addition, we consider two adaptive attacks by assuming that the adversary is aware of the MIMIR design, which further verifies the provided robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google