Exploring Robustness of Visual State Space model against Backdoor Attacks

要約

Visual State Space Model (VSS) は、さまざまなコンピューター ビジョン タスクにおいて顕著なパフォーマンスを実証しました。
しかし、開発の過程でバックドア攻撃がセキュリティに深刻な課題をもたらしました。
このような攻撃により、感染したモデルは、特定のトリガーがアクティブ化されたときにターゲットラベルを予測しますが、モデルは良性のサンプルでは通常どおり動作します。
この論文では、バックドア攻撃のレンズを通して VSS の堅牢性、特に状態空間モデル (SSM) メカニズムが堅牢性にどのように影響するかを理解するために体系的な実験を実施します。
まず、さまざまなバックドア トリガーに対する VSS の脆弱性を調査し、パッチ内のコンテキスト情報をキャプチャする SSM メカニズムによって、SSM のないモデルと比較して VSS モデルがバックドア トリガーの影響を受けやすくなっていることが明らかになりました。
さらに、パッチ処理技術に対する VSS モデルの感度を分析し、これらのトリガーが効果的に妨害されていることを発見しました。
これらの観察に基づいて、パッチの摂動に抵抗するために各パッチで繰り返される VSS モデルの効果的なバックドアを検討します。
3 つのデータセットとさまざまなバックドア攻撃にわたる広範な実験により、VSS モデルはトランスフォーマー (ViT) と同等のパフォーマンスを発揮しますが、SSM を含まずスタックされたゲート型 CNN ブロックのみで構成されるゲート型 CNN よりも堅牢性が低いことが明らかになりました。

要約(オリジナル)

Visual State Space Model (VSS) has demonstrated remarkable performance in various computer vision tasks. However, in the process of development, backdoor attacks have brought severe challenges to security. Such attacks cause an infected model to predict target labels when a specific trigger is activated, while the model behaves normally on benign samples. In this paper, we conduct systematic experiments to comprehend on robustness of VSS through the lens of backdoor attacks, specifically how the state space model (SSM) mechanism affects robustness. We first investigate the vulnerability of VSS to different backdoor triggers and reveal that the SSM mechanism, which captures contextual information within patches, makes the VSS model more susceptible to backdoor triggers compared to models without SSM. Furthermore, we analyze the sensitivity of the VSS model to patch processing techniques and discover that these triggers are effectively disrupted. Based on these observations, we consider an effective backdoor for the VSS model that recurs in each patch to resist patch perturbations. Extensive experiments across three datasets and various backdoor attacks reveal that the VSS model performs comparably to Transformers (ViTs) but is less robust than the Gated CNNs, which comprise only stacked Gated CNN blocks without SSM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google