Pixel Is Not A Barrier: An Effective Evasion Attack for Pixel-Domain Diffusion Models

要約

拡散モデルは、高品質の画像合成のための強力な生成モデルとして登場し、その後の多くの画像編集技術はこれに基づいています。
ただし、テキストベースの画像編集の容易さは、詐欺や知的財産侵害のための悪意のある編集など、重大なリスクをもたらします。
これまでの研究では、知覚できない摂動を追加することで、拡散ベースの編集から画像を保護しようとしました。
これらの手法はコストが高く、特に一般的な潜在拡散モデル (LDM) をターゲットとしていますが、ピクセルドメイン拡散モデル (PDM) は依然としてほとんど解明されておらず、そのような攻撃に対して堅牢です。
私たちの取り組みは、新しい攻撃フレームワークである AtkPDM を提案することで、このギャップに対処しています。
AtkPDM は主に、UNet のノイズ除去の脆弱性を利用する損失を攻撃する特徴表現と、敵対的画像の自然性を高めるための潜在的な最適化戦略で構成されます。
広範な実験により、一般的な防御方法に対して適度な忠実性と堅牢性を維持しながら、支配的な PDM ベースの編集方法 (SDEdit など) を攻撃する際の私たちのアプローチの有効性が実証されています。
さらに、当社のフレームワークは LDM に拡張可能であり、既存のアプローチと同等のパフォーマンスを実現します。

要約(オリジナル)

Diffusion Models have emerged as powerful generative models for high-quality image synthesis, with many subsequent image editing techniques based on them. However, the ease of text-based image editing introduces significant risks, such as malicious editing for scams or intellectual property infringement. Previous works have attempted to safeguard images from diffusion-based editing by adding imperceptible perturbations. These methods are costly and specifically target prevalent Latent Diffusion Models (LDMs), while Pixel-domain Diffusion Models (PDMs) remain largely unexplored and robust against such attacks. Our work addresses this gap by proposing a novel attack framework, AtkPDM. AtkPDM is mainly composed of a feature representation attacking loss that exploits vulnerabilities in denoising UNets and a latent optimization strategy to enhance the naturalness of adversarial images. Extensive experiments demonstrate the effectiveness of our approach in attacking dominant PDM-based editing methods (e.g., SDEdit) while maintaining reasonable fidelity and robustness against common defense methods. Additionally, our framework is extensible to LDMs, achieving comparable performance to existing approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google