Safe Latent Diffusion: Mitigating Inappropriate Degeneration in Diffusion Models

要約

タイトル：安全なレイテント拡散：拡散モデルにおける不適切な退化を緩和する

要約：

– 最近、テキストに応じた画像生成モデルが、画像品質とテキスト調整において驚異的な結果を出し、急速に増え続けるアプリケーションに採用されるようになりました。
– 彼らは億単位のデータセットに依存するため、インターネットからランダムにスクレイピングしたものであり、私たちが証明するように、退化して偏った人間の行動に苦しんでいます。
– それによって、そうしたバイアスさえ強化するかもしれません。
– これらの望ましくない副作用に対処するために、私たちは安全なレイテント拡散（SLD）を提案しています。
– 具体的には、フィルタリングされていない不均衡なトレーニングセットによる不適切な退化を測定するために、不適切な画像プロンプト（I2P）を含む専用の現実の画像からテキストへのプロンプトをカバーする画像生成テストベッドを確立します。
– 私たちの集中的な経験的評価は、導入されたSLDが拡散プロセス中に不適切な画像部分を削除し、抑制することを示し、追加のトレーニングが必要なく、全体的な画像品質やテキスト調整に悪影響を与えないことを示しています。

要約(オリジナル)

Text-conditioned image generation models have recently achieved astonishing results in image quality and text alignment and are consequently employed in a fast-growing number of applications. Since they are highly data-driven, relying on billion-sized datasets randomly scraped from the internet, they also suffer, as we demonstrate, from degenerated and biased human behavior. In turn, they may even reinforce such biases. To help combat these undesired side effects, we present safe latent diffusion (SLD). Specifically, to measure the inappropriate degeneration due to unfiltered and imbalanced training sets, we establish a novel image generation test bed-inappropriate image prompts (I2P)-containing dedicated, real-world image-to-text prompts covering concepts such as nudity and violence. As our exhaustive empirical evaluation demonstrates, the introduced SLD removes and suppresses inappropriate image parts during the diffusion process, with no additional training required and no adverse effect on overall image quality or text alignment.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI