Harnessing the Computation Redundancy in ViTs to Boost Adversarial Transferability

要約

Vision Transformers（VITS）は、多くの安全性クリティカルなタスクを含む、さまざまなアプリケーションで印象的なパフォーマンスを実証しています。
しかし、彼らのユニークな建築物質は、敵対的な堅牢性の新しい課題と機会を生み出します。
特に、VITで作られた敵対的な例は、CNNで作られたものと比較してより高い転送可能性を示すことを観察します。
この作業では、競争における計算冗長性の役割と、敵対的な移動性への影響を調査します。
効率のための計算を減らすことを目的とした以前の研究とは異なり、敵対例の品質と移動性を改善するために、この冗長性を活用することを提案します。
詳細な分析を通じて、攻撃の有効性を増幅するために利用できるデータレベルとモデルレベルを含む2つの形式の冗長性を特定します。
この洞察に基づいて、私たちは注意のスパース操作、注意の順列、クリーントークンの正則化、ゴーストモーの多様化、テスト時間の敵対的トレーニングなど、一連のテクニックを設計します。
ImagENET-1Kデータセットに関する広範な実験は、アプローチの有効性を検証し、さまざまなモデルアーキテクチャ全体の移動性と一般性の両方で既存のベースラインを大幅に上回ることを示しています。

要約(オリジナル)

Vision Transformers (ViTs) have demonstrated impressive performance across a range of applications, including many safety-critical tasks. However, their unique architectural properties raise new challenges and opportunities in adversarial robustness. In particular, we observe that adversarial examples crafted on ViTs exhibit higher transferability compared to those crafted on CNNs, suggesting that ViTs contain structural characteristics favorable for transferable attacks. In this work, we investigate the role of computational redundancy in ViTs and its impact on adversarial transferability. Unlike prior studies that aim to reduce computation for efficiency, we propose to exploit this redundancy to improve the quality and transferability of adversarial examples. Through a detailed analysis, we identify two forms of redundancy, including the data-level and model-level, that can be harnessed to amplify attack effectiveness. Building on this insight, we design a suite of techniques, including attention sparsity manipulation, attention head permutation, clean token regularization, ghost MoE diversification, and test-time adversarial training. Extensive experiments on the ImageNet-1k dataset validate the effectiveness of our approach, showing that our methods significantly outperform existing baselines in both transferability and generality across diverse model architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google