DDAP: Dual-Domain Anti-Personalization against Text-to-Image Diffusion Models

要約

拡散ベースのパーソナライズされたビジュアル コンテンツ生成テクノロジーは大きな進歩を遂げ、数枚の参考写真から学習するだけで特定のオブジェクトを作成できるようになりました。
しかし、これらのテクノロジーを悪用して、個人をターゲットにしたフェイクニュースや不穏なコンテンツを捏造すると、重大な社会的損害を引き起こす可能性があります。
この問題に対処するために、現在の方法では、トレーニング損失を敵対的に最大化することで敵対的サンプルを生成し、それによってこれらのサンプルでトレーニングされたパーソナライズされた生成モデルの出力を中断します。
しかし、既存の手法は拡散モデルの本質的な特性を見落としているため、効果的な防御を達成することもステルス性を維持することもできません。
このペーパーでは、新しいデュアルドメイン アンチパーソナライゼーション フレームワーク (DDAP) を紹介します。
具体的には、パーソナライズされた生成における画像エンコーダの固定的で摂動に敏感な性質を利用して、空間摂動学習 (SPL) を開発しました。
続いて、周波数領域における拡散モデルの特性を利用する周波数摂動学習 (FPL) 手法を設計しました。
SPL は生成された画像の全体的なテクスチャを破壊しますが、FPL は画像の詳細に焦点を当てます。
これら 2 つの方法を交互に使用することで、両方のドメインの長所を効果的に活用して DDAP フレームワークを構築します。
敵対的サンプルの視覚的品質をさらに向上させるために、攻撃の有効性を確保し、背景での不必要な妨害を回避しながら、注意深いエリアを正確に捕捉する位置特定モジュールを設計します。
顔ベンチマークに関する広範な実験により、提案された DDAP が個人化された生成モデルの破壊を強化しながら、敵対的サンプルの高品質を維持し、実際のアプリケーションでプライバシーを保護する効果が高まることが示されました。

要約(オリジナル)

Diffusion-based personalized visual content generation technologies have achieved significant breakthroughs, allowing for the creation of specific objects by just learning from a few reference photos. However, when misused to fabricate fake news or unsettling content targeting individuals, these technologies could cause considerable societal harm. To address this problem, current methods generate adversarial samples by adversarially maximizing the training loss, thereby disrupting the output of any personalized generation model trained with these samples. However, the existing methods fail to achieve effective defense and maintain stealthiness, as they overlook the intrinsic properties of diffusion models. In this paper, we introduce a novel Dual-Domain Anti-Personalization framework (DDAP). Specifically, we have developed Spatial Perturbation Learning (SPL) by exploiting the fixed and perturbation-sensitive nature of the image encoder in personalized generation. Subsequently, we have designed a Frequency Perturbation Learning (FPL) method that utilizes the characteristics of diffusion models in the frequency domain. The SPL disrupts the overall texture of the generated images, while the FPL focuses on image details. By alternating between these two methods, we construct the DDAP framework, effectively harnessing the strengths of both domains. To further enhance the visual quality of the adversarial samples, we design a localization module to accurately capture attentive areas while ensuring the effectiveness of the attack and avoiding unnecessary disturbances in the background. Extensive experiments on facial benchmarks have shown that the proposed DDAP enhances the disruption of personalized generation models while also maintaining high quality in adversarial samples, making it more effective in protecting privacy in practical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google