MASQUE: A Text-Guided Diffusion-Based Framework for Localized and Customized Adversarial Makeup

要約

政府および商業サービスに顔認識がますます採用されるにつれて、その誤用の可能性は、プライバシーと公民権に関する深刻な懸念を引き起こしました。
反論するために、敵対的なメイクアップベースのアプローチが最も人気のある顔の画像を敵対的に摂動することにより、プライバシー保護のために、さまざまな反顔面認識技術が提案されています。
ただし、主に特定のターゲットアイデンティティになりすますように設計されたこれらの方法は、ターゲットを絞った虐待のリスクを高めながら、弱い避難成功率を達成することしかできません。
さらに、彼らはしばしば、多様なメイクアッププロンプトに対応するためのグローバルな視覚的アーティファクトまたは適応性の欠如を導入し、ユーザーの満足度を損なう。
上記の制限に対処するために、ユーザー定義のテキストプロンプトに導かれたローカライズされた敵対的なメイクを生成する新しい拡散ベースのフレームワークであるマスクを開発します。
正確なヌルテキストの反転、マスキングによるカスタマイズされた交差融合融合、および同じ個人の画像を使用したペアワイズ敵対的なガイダンスメカニズムに基づいて構築されたマスクは、外部のアイデンティティを必要とせずに堅牢な避けパフォーマンスを実現します。
オープンソースの顔認識モデルと市販のAPIに関する包括的な評価は、マスクがすべてのベースラインで成功率を大幅に改善することを示しています。

要約(オリジナル)

As facial recognition is increasingly adopted for government and commercial services, its potential misuse has raised serious concerns about privacy and civil rights. To counteract, various anti-facial recognition techniques have been proposed for privacy protection by adversarially perturbing face images, among which generative makeup-based approaches are the most popular. However, these methods, designed primarily to impersonate specific target identities, can only achieve weak dodging success rates while increasing the risk of targeted abuse. In addition, they often introduce global visual artifacts or a lack of adaptability to accommodate diverse makeup prompts, compromising user satisfaction. To address the above limitations, we develop MASQUE, a novel diffusion-based framework that generates localized adversarial makeups guided by user-defined text prompts. Built upon precise null-text inversion, customized cross-attention fusion with masking, and a pairwise adversarial guidance mechanism using images of the same individual, MASQUE achieves robust dodging performance without requiring any external identity. Comprehensive evaluations on open-source facial recognition models and commercial APIs demonstrate that MASQUE significantly improves dodging success rates over all baselines, along with higher perceptual fidelity and stronger adaptability to various text makeup prompts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google