Can Protective Perturbation Safeguard Personal Data from Being Exploited by Stable Diffusion?

要約

Stable Diffusion は、生成 AI 芸術的アプリケーションの基礎モデルとしての地位を確立しており、広範な研究と応用が行われています。
最近のいくつかの微調整手法により、個人が小規模なデータセットで最小限の計算コストで基本的な安定拡散モデルにパーソナライズされた概念を埋め込むことが可能になりました。
しかし、これらの技術革新は、顔のプライバシーの偽造や芸術の著作権侵害などの問題も引き起こしています。
最近の研究では、研究者らは、安定拡散の微調整に個人データが使用される場合に、潜在的な不正利用や侵害を防ぐために、画像に知覚できない敵対的な摂動を追加することを検討しています。
これらの研究では画像を保護する機能が実証されていますが、これらの方法が現実世界のシナリオに完全に適用できるわけではない可能性があることを考慮することが重要です。
この論文では、実際の脅威モデル内で画像を保護するための摂動の使用を系統的に評価します。
この結果は、これらのアプローチでは画像のプライバシーと著作権を効果的に保護するには不十分である可能性があることを示唆しています。
さらに、元の画像構造を可能な限り維持しながら、保護された摂動を除去できる精製方法を紹介します。
実験により、安定拡散はあらゆる保護方法よりも精製された画像から効果的に学習できることが明らかになりました。

要約(オリジナル)

Stable Diffusion has established itself as a foundation model in generative AI artistic applications, receiving widespread research and application. Some recent fine-tuning methods have made it feasible for individuals to implant personalized concepts onto the basic Stable Diffusion model with minimal computational costs on small datasets. However, these innovations have also given rise to issues like facial privacy forgery and artistic copyright infringement. In recent studies, researchers have explored the addition of imperceptible adversarial perturbations to images to prevent potential unauthorized exploitation and infringements when personal data is used for fine-tuning Stable Diffusion. Although these studies have demonstrated the ability to protect images, it is essential to consider that these methods may not be entirely applicable in real-world scenarios. In this paper, we systematically evaluate the use of perturbations to protect images within a practical threat model. The results suggest that these approaches may not be sufficient to safeguard image privacy and copyright effectively. Furthermore, we introduce a purification method capable of removing protected perturbations while preserving the original image structure to the greatest extent possible. Experiments reveal that Stable Diffusion can effectively learn from purified images over all protective methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google