Diffusion-based Adversarial Identity Manipulation for Facial Privacy Protection

要約

フェイス認識（FR）システムの成功により、潜在的な不正な監視とソーシャルネットワークでのユーザー追跡により、深刻なプライバシーの懸念が生じています。
プライバシーを強化するための既存の方法は、顔のプライバシーを保護できる自然な顔の画像を生成できません。
この論文では、悪意のあるFRシステムに対して自然で高度に移動可能な敵対的な顔を生成するために、拡散ベースの敵対的アイデンティティ操作（diffaim）を提案します。
具体的には、拡散モデルの低次元潜在スペース内で顔のアイデンティティを操作します。
これには、逆拡散プロセス中に勾配ベースの敵対的アイデンティティガイダンスを繰り返し注入し、希望の敵対的な顔に向かって世代を徐々に導きます。
このガイダンスは、ソースからのセマンティックな相違を促進しながら、ターゲットへのアイデンティティの収束のために最適化されており、視覚的な自然性を維持しながら効果的ななりすましを促進します。
さらに、操作中の顔面構造の一貫性を維持するために、構造を提供する正則化を組み込みます。
顔の検証と識別タスクの両方での広範な実験は、最先端の違いと比較して、優れた視覚品質を維持しながら、より強力なブラックボックス攻撃の移転性を達成することを示しています。
また、Face ++やAliyunを含む商用FR APIの提案されたアプローチの有効性を実証します。

要約(オリジナル)

The success of face recognition (FR) systems has led to serious privacy concerns due to potential unauthorized surveillance and user tracking on social networks. Existing methods for enhancing privacy fail to generate natural face images that can protect facial privacy. In this paper, we propose diffusion-based adversarial identity manipulation (DiffAIM) to generate natural and highly transferable adversarial faces against malicious FR systems. To be specific, we manipulate facial identity within the low-dimensional latent space of a diffusion model. This involves iteratively injecting gradient-based adversarial identity guidance during the reverse diffusion process, progressively steering the generation toward the desired adversarial faces. The guidance is optimized for identity convergence towards a target while promoting semantic divergence from the source, facilitating effective impersonation while maintaining visual naturalness. We further incorporate structure-preserving regularization to preserve facial structure consistency during manipulation. Extensive experiments on both face verification and identification tasks demonstrate that compared with the state-of-the-art, DiffAIM achieves stronger black-box attack transferability while maintaining superior visual quality. We also demonstrate the effectiveness of the proposed approach for commercial FR APIs, including Face++ and Aliyun.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google