SafeCFG: Redirecting Harmful Classifier-Free Guidance for Safe Generation

要約

拡散モデル (DM) は、テキストから画像への変換 (T2I) タスクにおいて優れたパフォーマンスを実証し、広く使用されるようになりました。
分類器不要のガイダンス (CFG) の導入により、DM によって生成される画像の品質が向上しました。
ただし、DM は、CFG を通じて画像生成プロセスを悪意を持って誘導することで、より有害な画像を生成する可能性があります。
一部の安全な誘導方法は、有害な画像を生成するリスクを軽減することを目的としていますが、多くの場合、きれいな画像生成の品質が低下します。
この問題に対処するために、当社は Harmful Guide Redirector (HGR) を導入します。これは、画像生成中にクリーンな CFG 方向を維持しながら有害な CFG 方向をリダイレクトし、CFG を SafeCFG に変換し、高い安全性と高品質の生成を実現します。
私たちは、複数の有害な CFG 方向を同時にリダイレクトするように HGR をトレーニングし、高品質の生成を維持しながらさまざまな有害な要素を除去する能力を実証します。
さらに、HGR は画像の有害性を検出できるため、事前に定義されたクリーンまたは有害なラベルを使用せずに、安全な拡散モデルを教師なしで微調整できることがわかりました。
実験の結果、HGRを組み込むことで拡散モデルで生成された画像は高品質と強力な安全性を両立し、HGRで検出された有害性に応じて教師なし手法で訓練された安全なDMも良好な安全性能を発揮することがわかった。
コードは一般に公開されます。

要約(オリジナル)

Diffusion models (DMs) have demonstrated exceptional performance in text-to-image (T2I) tasks, leading to their widespread use. With the introduction of classifier-free guidance (CFG), the quality of images generated by DMs is improved. However, DMs can generate more harmful images by maliciously guiding the image generation process through CFG. Some safe guidance methods aim to mitigate the risk of generating harmful images but often reduce the quality of clean image generation. To address this issue, we introduce the Harmful Guidance Redirector (HGR), which redirects harmful CFG direction while preserving clean CFG direction during image generation, transforming CFG into SafeCFG and achieving high safety and quality generation. We train HGR to redirect multiple harmful CFG directions simultaneously, demonstrating its ability to eliminate various harmful elements while preserving high-quality generation. Additionally, we find that HGR can detect image harmfulness, allowing for unsupervised fine-tuning of safe diffusion models without pre-defined clean or harmful labels. Experimental results show that by incorporating HGR, images generated by diffusion models achieve both high quality and strong safety, and safe DMs trained through unsupervised methods according to the harmfulness detected by HGR also exhibit good safety performance. The codes will be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google