Unlearnable Examples for Diffusion Models: Protect Data from Unauthorized Exploitation

要約

拡散モデルは画像生成タスクにおいて顕著なパフォーマンスを実証し、強力な AIGC アプリケーションへの道を切り開きました。
ただし、これらの広く使用されている生成モデルは、著作権侵害や機密データの漏洩など、セキュリティとプライバシーの問題を引き起こす可能性もあります。
これらの問題に取り組むために、私たちは画像を不正利用から守るための手法「学習不可能な拡散摂動」を提案します。
私たちのアプローチには、保護される各画像に対してサンプルごとの摂動ノイズを生成するアルゴリズムの設計が含まれます。
この知覚できない保護ノイズにより、データは拡散モデルにとってほとんど学習不可能になります。つまり、保護されたデータでトレーニングまたは微調整された拡散モデルは、保護されたトレーニング データに関連する高品質で多様な画像を生成できません。
理論的には、これを最大-最小最適化問題として組み立て、保護ノイズの有効性を高めるためのノイズ スケジューラ ベースの方法である EUDP を導入します。
ノイズ除去拡散確率モデルと潜在拡散モデルの両方で手法を評価し、保護されたデータで拡散モデルをトレーニングすると、生成される画像の品質が大幅に低下することを実証しました。
特に、安定拡散に関する実験結果は、私たちの方法が、特定のオブジェクトやスタイルのトレーニングなど、さまざまなタスクで拡散モデルのトレーニングに使用されることから画像を効果的に保護することを示しています。
この成果は、AI によって生成されたコンテンツに対するプライバシーと著作権の保護に貢献するため、現実世界のシナリオにおいて非常に重要です。

要約(オリジナル)

Diffusion models have demonstrated remarkable performance in image generation tasks, paving the way for powerful AIGC applications. However, these widely-used generative models can also raise security and privacy concerns, such as copyright infringement, and sensitive data leakage. To tackle these issues, we propose a method, Unlearnable Diffusion Perturbation, to safeguard images from unauthorized exploitation. Our approach involves designing an algorithm to generate sample-wise perturbation noise for each image to be protected. This imperceptible protective noise makes the data almost unlearnable for diffusion models, i.e., diffusion models trained or fine-tuned on the protected data cannot generate high-quality and diverse images related to the protected training data. Theoretically, we frame this as a max-min optimization problem and introduce EUDP, a noise scheduler-based method to enhance the effectiveness of the protective noise. We evaluate our methods on both Denoising Diffusion Probabilistic Model and Latent Diffusion Models, demonstrating that training diffusion models on the protected data lead to a significant reduction in the quality of the generated images. Especially, the experimental results on Stable Diffusion demonstrate that our method effectively safeguards images from being used to train Diffusion Models in various tasks, such as training specific objects and styles. This achievement holds significant importance in real-world scenarios, as it contributes to the protection of privacy and copyright against AI-generated content.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google