CROPS: Model-Agnostic Training-Free Framework for Safe Image Synthesis with Latent Diffusion Models

要約

拡散モデルの進歩により、画像生成のパフォーマンスが大幅に向上しました。
これにより、一般的に「Not Safe For Work (NSFW)」コンテンツと呼ばれる、露骨な画像や暴力的な画像の作成など、画像生成の悪用の可能性についての懸念が生じます。
これに対処するために、安定拡散モデルには、最初のテキスト プロンプトとモデルから生成された最終出力画像を検閲するためのいくつかの安全性チェッカーが含まれています。
しかし、最近の研究では、これらの安全性チェッカーには敵対的攻撃に対する脆弱性があり、NSFW イメージを生成できることが判明しました。
この論文では、これらの敵対的攻撃が、テキスト プロンプトや入力潜在情報の小さな変更に対して堅牢ではないことを発見しました。
これに基づいて、追加のトレーニングを必要とせずに NSFW イメージを生成する敵対的攻撃を簡単に防御する、モデルに依存しないフレームワークである CROPS (Circular or RandOm Prompts for Safety) を提案します。
さらに、効率的な NSFW 検出 (CROPS-1) のための 1 ステップ拡散モデルを利用するアプローチを開発し、計算リソースをさらに削減します。
性能と適用性の点で本手法の優位性を実証します。

要約(オリジナル)

With advances in diffusion models, image generation has shown significant performance improvements. This raises concerns about the potential abuse of image generation, such as the creation of explicit or violent images, commonly referred to as Not Safe For Work (NSFW) content. To address this, the Stable Diffusion model includes several safety checkers to censor initial text prompts and final output images generated from the model. However, recent research has shown that these safety checkers have vulnerabilities against adversarial attacks, allowing them to generate NSFW images. In this paper, we find that these adversarial attacks are not robust to small changes in text prompts or input latents. Based on this, we propose CROPS (Circular or RandOm Prompts for Safety), a model-agnostic framework that easily defends against adversarial attacks generating NSFW images without requiring additional training. Moreover, we develop an approach that utilizes one-step diffusion models for efficient NSFW detection (CROPS-1), further reducing computational resources. We demonstrate the superiority of our method in terms of performance and applicability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google