Receler: Reliable Concept Erasing of Text-to-Image Diffusion Models via Lightweight Erasers

要約

テキストから画像への拡散モデルにおける概念消去は、事前トレーニングされた拡散モデルがターゲットの概念に関連する画像を生成できないようにすることを目的としています。
信頼性の高い概念消去を実行するには、ロバスト性と局所性の特性が望ましいです。
前者は、言い換えまたは学習されたプロンプトに対してターゲット概念に関連付けられた画像をモデルが生成することを抑制しますが、後者は、非ターゲット概念の画像を生成するモデルの能力を保持します。
この論文では、軽量イレイサー（Receler）を介した信頼性の高いコンセプト消去を提案します。これは、軽量イレイサーを学習して概念消去を実行し、提案された概念局所的正則化と敵対的プロンプト学習によってそれぞれ局所性とロバスト性を強化します。
さまざまな概念プロンプトを使用した包括的な定量的および定性的な実験により、上記の 2 つの望ましい特性に関して、以前の消去方法に対する Receler の優位性が検証されます。

要約(オリジナル)

Concept erasure in text-to-image diffusion models aims to disable pre-trained diffusion models from generating images related to a target concept. To perform reliable concept erasure, the properties of robustness and locality are desirable. The former refrains the model from producing images associated with the target concept for any paraphrased or learned prompts, while the latter preserves the model ability in generating images for non-target concepts. In this paper, we propose Reliable Concept Erasing via Lightweight Erasers (Receler), which learns a lightweight Eraser to perform concept erasing and enhances locality and robustness with the proposed concept-localized regularization and adversarial prompt learning, respectively. Comprehensive quantitative and qualitative experiments with various concept prompts verify the superiority of Receler over the previous erasing methods on the above two desirable properties.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google