Adv-Inpainting: Generating Natural and Transferable Adversarial Patch via Attention-guided Feature Fusion

要約

初歩的な敵対的攻撃では、付加的なノイズを利用して顔認識 (FR) モデルを攻撃します。
ただし、物理的な設定では面全体を操作するのは非現実的であるため、現実世界の FR 攻撃のほとんどは、摂動を狭い領域に制限する敵対的パッチに基づいています。
これまでの敵対的パッチ攻撃では、不自然なパターンや、簡単に目立つ明確な境界が生じることがよくありました。
この論文では、もっともらしいコンテンツを含む敵対的パッチを生成すると、加法ノイズを使用したり潜在空間から直接サンプリングしたりするよりも強力な伝達可能性が得られると主張します。
自然な見た目で転送性の高い敵対的パッチを生成するために、Adv-Inpainting と呼ばれる革新的な 2 段階の粗い攻撃から細かい攻撃までのフレームワークを提案します。
最初の段階では、アテンション マップに基づいてテクスチャとアイデンティティの特徴を適応的に組み合わせて、転送性の高い自然な敵対的パッチを生成するアテンション ガイド型 StyleGAN (Att-StyleGAN) を提案します。
第 2 段階では、パッチとその周囲領域の間の一貫性をさらに向上させるために、新しい境界分散損失を備えたリファインメント ネットワークを設計します。
実験結果は、Adv-Inpainting がステルス性であり、以前の敵対的パッチ攻撃よりも強力な転送性と向上したビジュアル品質を備えた敵対的パッチを生成できることを示しています。

要約(オリジナル)

The rudimentary adversarial attacks utilize additive noise to attack facial recognition (FR) models. However, because manipulating the total face is impractical in the physical setting, most real-world FR attacks are based on adversarial patches, which limit perturbations to a small area. Previous adversarial patch attacks often resulted in unnatural patterns and clear boundaries that were easily noticeable. In this paper, we argue that generating adversarial patches with plausible content can result in stronger transferability than using additive noise or directly sampling from the latent space. To generate natural-looking and highly transferable adversarial patches, we propose an innovative two-stage coarse-to-fine attack framework called Adv-Inpainting. In the first stage, we propose an attention-guided StyleGAN (Att-StyleGAN) that adaptively combines texture and identity features based on the attention map to generate high-transferable and natural adversarial patches. In the second stage, we design a refinement network with a new boundary variance loss to further improve the coherence between the patch and its surrounding area. Experiment results demonstrate that Adv-Inpainting is stealthy and can produce adversarial patches with stronger transferability and improved visual quality than previous adversarial patch attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google