CLIP2Protect: Protecting Facial Privacy using Text-Guided Makeup via Adversarial Latent Search

要約

ディープラーニングベースの顔認識システムの成功により、デジタル世界でユーザーの不正な追跡が可能になるため、プライバシーに関する深刻な懸念が生じています。
プライバシーを強化するための既存の方法では、ユーザー エクスペリエンスを損なうことなく顔のプライバシーを保護できる自然な画像を生成できません。
我々は、事前訓練された生成モデルの低次元多様体における敵対的な潜在コードの発見に依存する、顔のプライバシー保護のための新しい 2 段階のアプローチを提案します。
最初のステップでは、指定された顔画像を潜在空間に反転し、生成モデルを微調整して、潜在コードから指定された画像を正確に再構成します。
このステップにより適切な初期化が行われ、指定された ID に似た高品質の顔の生成が促進されます。
その後、ユーザー定義のメイクアップ テキスト プロンプトとアイデンティティを保持する正則化を使用して、潜在空間内の敵対的コードの検索をガイドします。
広範な実験により、私たちのアプローチによって生成された顔は、顔検証タスクの下で最先端の顔プライバシー保護アプローチよりも絶対的に 12.06% 向上する、より強力なブラックボックス転送性を備えていることが実証されています。
最後に、市販の顔認識システムに対する提案されたアプローチの有効性を実証します。
私たちのコードは https://github.com/fahadshamshad/Clip2Protect で入手できます。

要約(オリジナル)

The success of deep learning based face recognition systems has given rise to serious privacy concerns due to their ability to enable unauthorized tracking of users in the digital world. Existing methods for enhancing privacy fail to generate naturalistic images that can protect facial privacy without compromising user experience. We propose a novel two-step approach for facial privacy protection that relies on finding adversarial latent codes in the low-dimensional manifold of a pretrained generative model. The first step inverts the given face image into the latent space and finetunes the generative model to achieve an accurate reconstruction of the given image from its latent code. This step produces a good initialization, aiding the generation of high-quality faces that resemble the given identity. Subsequently, user-defined makeup text prompts and identity-preserving regularization are used to guide the search for adversarial codes in the latent space. Extensive experiments demonstrate that faces generated by our approach have stronger black-box transferability with an absolute gain of 12.06% over the state-of-the-art facial privacy protection approach under the face verification task. Finally, we demonstrate the effectiveness of the proposed approach for commercial face recognition systems. Our code is available at https://github.com/fahadshamshad/Clip2Protect.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google