Erasing Concepts from Diffusion Models

要約

テキストから画像への拡散における最近の進歩に動機付けられて、モデルの重みからの特定の概念の消去を研究します。
Stable Diffusion は、明示的または現実的なアートワークの作成に有望である一方で、悪用の可能性について懸念を引き起こしています。
スタイルの名前のみが与えられ、教師として否定的なガイダンスを使用して、事前にトレーニングされた拡散モデルから視覚的概念を消去できる微調整方法を提案します。
性的に露骨なコンテンツを削除し、その有効性を実証する以前のアプローチに対して私たちの方法をベンチマークし、安全な潜在拡散と検閲されたトレーニングと同等のパフォーマンスを発揮します。
芸術的なスタイルの削除を評価するために、ネットワークから 5 人の現代アーティストを削除する実験を実施し、削除されたスタイルに対する人間の認識を評価するためのユーザー調査を実施しました。
以前の方法とは異なり、私たちのアプローチは、推論時に出力を変更するのではなく、拡散モデルから概念を完全に削除できるため、ユーザーがモデルの重みにアクセスできる場合でも回避できません。
私たちのコード、データ、および結果は、https://erasing.baulab.info/ で入手できます。

要約(オリジナル)

Motivated by recent advancements in text-to-image diffusion, we study erasure of specific concepts from the model’s weights. While Stable Diffusion has shown promise in producing explicit or realistic artwork, it has raised concerns regarding its potential for misuse. We propose a fine-tuning method that can erase a visual concept from a pre-trained diffusion model, given only the name of the style and using negative guidance as a teacher. We benchmark our method against previous approaches that remove sexually explicit content and demonstrate its effectiveness, performing on par with Safe Latent Diffusion and censored training. To evaluate artistic style removal, we conduct experiments erasing five modern artists from the network and conduct a user study to assess the human perception of the removed styles. Unlike previous methods, our approach can remove concepts from a diffusion model permanently rather than modifying the output at the inference time, so it cannot be circumvented even if a user has access to model weights. Our code, data, and results are available at https://erasing.baulab.info/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google