Anti-Diffusion: Preventing Abuse of Modifications of Diffusion-Based Models

要約

拡散ベースの技術は、画像生成と編集タスクで顕著な成功を示していますが、それらの虐待は深刻なマイナスの社会的影響につながる可能性があります。
最近、拡散ベースの方法の乱用に対する防御を提供するために、いくつかの作品が提案されています。
ただし、手動で定義されたプロンプトまたは安定した拡散（SD）バージョンにより、特定のシナリオでは保護が制限される場合があります。
さらに、これらの方法は、チューニング方法のみに焦点を当て、編集方法を見下ろすことで大きな脅威をもたらす可能性があります。
この作業では、チューニングと編集手法の両方に適用される、一般的な拡散ベースの方法向けに設計されたプライバシー保護システムである抗拡散を提案します。
防御パフォーマンスに関する手動で定義されたプロンプトの制限を軽減するために、元の画像の正確な表現を可能にするプロンプトチューニング（PT）戦略を導入します。
チューニング方法と編集方法の両方に対する防御を提供するために、保護された画像のセマンティック情報を混乱させるために、セマンティック妨害損失（SDL）を提案します。
編集方法に対する防御に関する限られた研究を考えると、Defense-Editという名前のデータセットを開発して、さまざまな方法の防衛パフォーマンスを評価します。
実験は、私たちの抗拡散が、さまざまなシナリオで幅広い拡散ベースの技術にわたって優れた防御性能を達成することを示しています。

要約(オリジナル)

Although diffusion-based techniques have shown remarkable success in image generation and editing tasks, their abuse can lead to severe negative social impacts. Recently, some works have been proposed to provide defense against the abuse of diffusion-based methods. However, their protection may be limited in specific scenarios by manually defined prompts or the stable diffusion (SD) version. Furthermore, these methods solely focus on tuning methods, overlooking editing methods that could also pose a significant threat. In this work, we propose Anti-Diffusion, a privacy protection system designed for general diffusion-based methods, applicable to both tuning and editing techniques. To mitigate the limitations of manually defined prompts on defense performance, we introduce the prompt tuning (PT) strategy that enables precise expression of original images. To provide defense against both tuning and editing methods, we propose the semantic disturbance loss (SDL) to disrupt the semantic information of protected images. Given the limited research on the defense against editing methods, we develop a dataset named Defense-Edit to assess the defense performance of various methods. Experiments demonstrate that our Anti-Diffusion achieves superior defense performance across a wide range of diffusion-based techniques in different scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google