Pixel Is Not A Barrier: An Effective Evasion Attack for Pixel-Domain Diffusion Models

要約

拡散モデルは、高品質の画像合成のための強力な生成モデルとして登場し、その後の多くの画像編集技術はこれに基づいています。
ただし、テキストベースの画像編集の容易さは、詐欺や知的財産侵害のための悪意のある編集など、重大なリスクをもたらします。
これまでの研究では、知覚できない摂動を追加することで、拡散ベースの編集から画像を保護しようとしました。
これらの手法はコストが高く、特に一般的な潜在拡散モデル (LDM) をターゲットとしていますが、ピクセルドメイン拡散モデル (PDM) は依然としてほとんど解明されておらず、そのような攻撃に対して堅牢です。
私たちの研究では、UNet のノイズ除去の脆弱性を悪用する特徴表現攻撃損失を備えた新しい攻撃フレームワークと、保護された画像の自然さを高めるための潜在的な最適化戦略を提案することで、このギャップに対処しています。
広範な実験により、一般的な防御方法に対する合理的な保護忠実度と堅牢性を維持しながら、支配的な PDM ベースの編集方法 (SDEdit など) を攻撃する際の私たちのアプローチの有効性が実証されています。
さらに、当社のフレームワークは LDM に拡張可能であり、既存のアプローチと同等のパフォーマンスを実現します。

要約(オリジナル)

Diffusion Models have emerged as powerful generative models for high-quality image synthesis, with many subsequent image editing techniques based on them. However, the ease of text-based image editing introduces significant risks, such as malicious editing for scams or intellectual property infringement. Previous works have attempted to safeguard images from diffusion-based editing by adding imperceptible perturbations. These methods are costly and specifically target prevalent Latent Diffusion Models (LDMs), while Pixel-domain Diffusion Models (PDMs) remain largely unexplored and robust against such attacks. Our work addresses this gap by proposing a novel attacking framework with a feature representation attack loss that exploits vulnerabilities in denoising UNets and a latent optimization strategy to enhance the naturalness of protected images. Extensive experiments demonstrate the effectiveness of our approach in attacking dominant PDM-based editing methods (e.g., SDEdit) while maintaining reasonable protection fidelity and robustness against common defense methods. Additionally, our framework is extensible to LDMs, achieving comparable performance to existing approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google