TraSCE: Trajectory Steering for Concept Erasure

要約

テキストから画像への拡散モデルの最近の進歩により、それらは一般の人々に広くアクセスし、受け入れられるようになりました。
ただし、これらのモデルは、非勤務（NSFW）画像などの有害なコンテンツを生成することが示されています。
モデルからこのような抽象的な概念を消去するためのアプローチが提案されていますが、刑務所を破る技術は、そのような安全対策のバイパスに成功しました。
この論文では、Trasceを提案します。Trasceは、有害なコンテンツの生成から拡散軌跡を導くアプローチを提案します。
私たちのアプローチは否定的なプロンプトに基づいていますが、この論文で示すように、広く使用されているネガティブプロンプト戦略は完全な解決策ではなく、一部のコーナーケースで簡単にバイパスできます。
この問題に対処するために、まず、広く使用されているものではなく、負のプロンプトの特定の定式化を使用することを提案します。
さらに、拡散軌道を操縦することにより、修正された負のプロンプト技術を強化するローカライズされた損失ベースのガイダンスを導入します。
提案された方法は、赤チームが提案したり、芸術的なスタイルやオブジェクトを消去したりしたものを含む、有害なコンテンツを削除する際に、さまざまなベンチマークで最新の結果を達成することを実証します。
提案されたアプローチでは、トレーニング、重量変更、またはトレーニングデータ（画像またはプロンプトのいずれか）を必要としないため、モデル所有者が新しい概念を消去しやすくします。

要約(オリジナル)

Recent advancements in text-to-image diffusion models have brought them to the public spotlight, becoming widely accessible and embraced by everyday users. However, these models have been shown to generate harmful content such as not-safe-for-work (NSFW) images. While approaches have been proposed to erase such abstract concepts from the models, jail-breaking techniques have succeeded in bypassing such safety measures. In this paper, we propose TraSCE, an approach to guide the diffusion trajectory away from generating harmful content. Our approach is based on negative prompting, but as we show in this paper, a widely used negative prompting strategy is not a complete solution and can easily be bypassed in some corner cases. To address this issue, we first propose using a specific formulation of negative prompting instead of the widely used one. Furthermore, we introduce a localized loss-based guidance that enhances the modified negative prompting technique by steering the diffusion trajectory. We demonstrate that our proposed method achieves state-of-the-art results on various benchmarks in removing harmful content, including ones proposed by red teams, and erasing artistic styles and objects. Our proposed approach does not require any training, weight modifications, or training data (either image or prompt), making it easier for model owners to erase new concepts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google