Generating Transferable and Stealthy Adversarial Patch via Attention-guided Adversarial Inpainting

要約

敵対的パッチ攻撃は、小さなパッチを介して顔認識 (FR) モデルを騙す可能性があります。
ただし、これまでの敵対的パッチ攻撃では、容易に認識できる不自然なパターンが生じることがよくありました。
ソース イメージとターゲット イメージのスタイルが大きく異なるため、適切なカモフラージュを持ちながら、ブラック ボックス FR モデルを効果的に欺くことができる、転送可能でステルスな敵対的パッチを生成することは困難です。
転送可能で自然に見える、ステルスな敵対的パッチを生成するために、Adv-Inpainting と呼ばれる革新的な 2 段階攻撃を提案します。これは、攻撃者とターゲットの顔からそれぞれスタイル特徴とアイデンティティ特徴を抽出し、誤解を招く目立たないものでパッチを埋めます。
アテンションマップによって導かれるコンテンツ。
最初の段階では、ピラミッド状のネットワークによってマルチスケール スタイルのエンベディングを抽出し、事前トレーニングされた FR モデルによってアイデンティティ エンベディングを抽出し、バックグラウンド パッチ クロス アテンションを介してそれらをマージするための新しいアテンション ガイド付き適応インスタンス正規化レイヤー (AAIN) を提案します。
地図。
提案されたレイヤーは、優先度のコンテキスト情報を十分に活用することで、アイデンティティとスタイルの埋め込みを適応的に融合できます。
第 2 段階では、ステルス性をさらに高めるために、新しい境界分散損失、空間割引再構成損失、知覚損失を備えた Adversarial Patch Refinement Network (APR-Net) を設計します。
実験により、私たちの攻撃は、最先端の敵対的パッチ攻撃やセマンティック攻撃よりも、視覚的な品質が向上し、ステルス性が向上し、転送性が強化された敵対的パッチを生成できることが実証されました。

要約(オリジナル)

Adversarial patch attacks can fool the face recognition (FR) models via small patches. However, previous adversarial patch attacks often result in unnatural patterns that are easily noticeable. Generating transferable and stealthy adversarial patches that can efficiently deceive the black-box FR models while having good camouflage is challenging because of the huge stylistic difference between the source and target images. To generate transferable, natural-looking, and stealthy adversarial patches, we propose an innovative two-stage attack called Adv-Inpainting, which extracts style features and identity features from the attacker and target faces, respectively and then fills the patches with misleading and inconspicuous content guided by attention maps. In the first stage, we extract multi-scale style embeddings by a pyramid-like network and identity embeddings by a pretrained FR model and propose a novel Attention-guided Adaptive Instance Normalization layer (AAIN) to merge them via background-patch cross-attention maps. The proposed layer can adaptively fuse identity and style embeddings by fully exploiting priority contextual information. In the second stage, we design an Adversarial Patch Refinement Network (APR-Net) with a novel boundary variance loss, a spatial discounted reconstruction loss, and a perceptual loss to boost the stealthiness further. Experiments demonstrate that our attack can generate adversarial patches with improved visual quality, better stealthiness, and stronger transferability than state-of-the-art adversarial patch attacks and semantic attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google