Implicit Concept Removal of Diffusion Models

要約

テキストから画像への拡散（T2I）モデルは、しばしば、透かしや安全でない画像などの不要な概念を不注意に生成する。これらの概念は「暗黙概念」と呼ばれ、学習中に意図せずに学習され、推論中に制御不能に生成される可能性がある。既存の除去手法では、モデルが実際に識別できない概念を認識する能力に依存しているため、暗黙概念を除去するのに苦労している。この問題に対処するため、我々は暗黙概念の本質的な幾何学的特性を利用し、幾何学的駆動制御に基づく新しい概念除去手法であるGeom-Erasingを提示する。具体的には、一旦不要な暗黙概念が識別されると、その概念の存在と幾何学的情報を、アクセス可能な分類器または検出器モデルの助けを借りて、テキストプロンプトに統合する。その後、このモデルを最適化してこの情報を識別・分離し、生成時に否定プロンプトとして採用する。さらに、3つの典型的な暗黙的概念（すなわち、QRコード、透かし、テキスト）が埋め込まれた新しい画像-テキストデータセットである暗黙的概念データセット（ICD）を紹介し、暗黙的概念が注入されやすい現実の状況を反映する。Geom-Erasingは暗黙概念の発生を効果的に緩和し、不適切な画像プロンプト（I2P）と我々の挑戦的な暗黙概念データセット（ICD）ベンチマークで最先端の結果を達成した。

要約(オリジナル)

Text-to-image (T2I) diffusion models often inadvertently generate unwanted concepts such as watermarks and unsafe images. These concepts, termed as the ‘implicit concepts’, could be unintentionally learned during training and then be generated uncontrollably during inference. Existing removal methods still struggle to eliminate implicit concepts primarily due to their dependency on the model’s ability to recognize concepts it actually can not discern. To address this, we utilize the intrinsic geometric characteristics of implicit concepts and present the Geom-Erasing, a novel concept removal method based on the geometric-driven control. Specifically, once an unwanted implicit concept is identified, we integrate the existence and geometric information of the concept into the text prompts with the help of an accessible classifier or detector model. Subsequently, the model is optimized to identify and disentangle this information, which is then adopted as negative prompts during generation. Moreover, we introduce the Implicit Concept Dataset (ICD), a novel image-text dataset imbued with three typical implicit concepts (i.e., QR codes, watermarks, and text), reflecting real-life situations where implicit concepts are easily injected. Geom-Erasing effectively mitigates the generation of implicit concepts, achieving the state-of-the-art results on the Inappropriate Image Prompts (I2P) and our challenging Implicit Concept Dataset (ICD) benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL