SimAC: A Simple Anti-Customization Method for Protecting Face Privacy against Text-to-Image Synthesis of Diffusion Models

要約

ビジュアルコンテンツ作成における普及ベースのカスタマイズ手法は成功を収めているにもかかわらず、プライバシーと政治の両方の観点から、そのような手法に対する懸念が高まっています。
この問題に取り組むために、主に敵対的攻撃に基づいたいくつかのアンチカスタマイズ手法がここ数カ月で提案されています。
残念ながら、これらの手法のほとんどは、元のトレーニング損失を敵対的に最大化することに重点を置いたエンドツーエンドの最適化などの単純な設計を採用しているため、拡散モデルに固有の微妙な内部特性が無視され、拡散時間によっては非効率的な最適化につながることさえあります。
このホワイトペーパーでは、これらの固有の特性の包括的な調査に着手することで、このギャップを埋め、現在のカスタマイズ防止アプローチのパフォーマンスを向上させることに努めます。
プロパティの 2 つの側面を調査します。 1) 時間ステップの選択と画像の周波数領域におけるモデルの認識との関係を調査し、時間ステップが低いほど敵対的ノイズへの寄与が大きくなる可能性があることを発見しました。
このことから、既存のアンチカスタマイズ手法とシームレスに統合する、最適なタイム ステップを求める適応型貪欲検索を提案するようになりました。
2) ノイズ除去中にさまざまなレイヤーでの機能の役割を精査し、カスタマイズ防止のための高度な機能ベースの最適化フレームワークを考案します。顔ベンチマークの実験では、私たちのアプローチがアイデンティティの破壊を大幅に増加させ、それによってユーザーのプライバシーと著作権を保護することが実証されました。
私たちのコードは https://github.com/somuchtome/SimAC で入手できます。

要約(オリジナル)

Despite the success of diffusion-based customization methods on visual content creation, increasing concerns have been raised about such techniques from both privacy and political perspectives. To tackle this issue, several anti-customization methods have been proposed in very recent months, predominantly grounded in adversarial attacks. Unfortunately, most of these methods adopt straightforward designs, such as end-to-end optimization with a focus on adversarially maximizing the original training loss, thereby neglecting nuanced internal properties intrinsic to the diffusion model, and even leading to ineffective optimization in some diffusion time steps.In this paper, we strive to bridge this gap by undertaking a comprehensive exploration of these inherent properties, to boost the performance of current anti-customization approaches. Two aspects of properties are investigated: 1) We examine the relationship between time step selection and the model’s perception in the frequency domain of images and find that lower time steps can give much more contributions to adversarial noises. This inspires us to propose an adaptive greedy search for optimal time steps that seamlessly integrates with existing anti-customization methods. 2) We scrutinize the roles of features at different layers during denoising and devise a sophisticated feature-based optimization framework for anti-customization.Experiments on facial benchmarks demonstrate that our approach significantly increases identity disruption, thereby protecting user privacy and copyright. Our code is available at: https://github.com/somuchtome/SimAC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google