Defending Backdoor Attacks on Vision Transformer via Patch Processing

要約

ビジョントランスフォーマー（ViT）のアーキテクチャは根本的に異なり、畳み込みニューラルネットワークよりも誘導バイアスが大幅に少なくなっています。
パフォーマンスの向上に加えて、ViTのセキュリティと堅牢性も研究する上で非常に重要です。
敵対的な例に対するViTの堅牢性を悪用する最近の多くの研究とは対照的に、このペーパーでは、代表的な原因となる攻撃、つまりバックドアを調査します。
まず、さまざまなバックドア攻撃に対するViTの脆弱性を調べ、ViTが既存の攻撃に対しても非常に脆弱であることを確認します。
ただし、ViTのクリーンデータの精度とバックドア攻撃の成功率は、位置エンコード前のパッチ変換に明確に応答することがわかります。
次に、この発見に基づいて、パッチ処理を介してパッチベースとブレンディングベースの両方のトリガーバックドア攻撃を防御するためのViTの効果的な方法を提案します。
パフォーマンスは、CIFAR10、GTSRB、TinyImageNetなどのいくつかのベンチマークデータセットで評価されます。これは、提案された新しい防御がViTのバックドア攻撃を軽減するのに非常に成功していることを示しています。
私たちの知る限り、このペーパーでは、バックドア攻撃に対するViTの独自の特性を利用した最初の防御戦略を紹介します。

要約(オリジナル)

Vision Transformers (ViTs) have a radically different architecture with significantly less inductive bias than Convolutional Neural Networks. Along with the improvement in performance, security and robustness of ViTs are also of great importance to study. In contrast to many recent works that exploit the robustness of ViTs against adversarial examples, this paper investigates a representative causative attack, i.e., backdoor. We first examine the vulnerability of ViTs against various backdoor attacks and find that ViTs are also quite vulnerable to existing attacks. However, we observe that the clean-data accuracy and backdoor attack success rate of ViTs respond distinctively to patch transformations before the positional encoding. Then, based on this finding, we propose an effective method for ViTs to defend both patch-based and blending-based trigger backdoor attacks via patch processing. The performances are evaluated on several benchmark datasets, including CIFAR10, GTSRB, and TinyImageNet, which show the proposed novel defense is very successful in mitigating backdoor attacks for ViTs. To the best of our knowledge, this paper presents the first defensive strategy that utilizes a unique characteristic of ViTs against backdoor attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google