Implicit Concept Removal of Diffusion Models

要約

Text-to-Image (T2I) 拡散モデルでは、透かしや安全でない画像などの不要な概念が誤って生成されることがよくあります。
「暗黙の概念」と呼ばれるこれらの概念は、トレーニング中に意図せずに学習され、推論中に制御不能に生成される可能性があります。
既存の除去方法は、主に実際には識別できない概念を認識するモデルの能力に依存しているため、暗黙の概念を除去するのに依然として苦労しています。
これに対処するために、我々は暗黙の概念の固有の幾何学的特性を利用し、幾何学駆動制御に基づく新しい概念除去方法である Geom-Erasing を提案します。
具体的には、不要な暗黙の概念が特定されると、アクセス可能な分類子または検出器モデルを利用して、その概念の存在と幾何学的情報をテキスト プロンプトに統合します。
その後、この情報を特定して解きほぐすようにモデルが最適化され、生成時に否定的なプロンプトとして採用されます。
さらに、暗黙の概念が簡単に挿入される現実の状況を反映する、3 つの典型的な暗黙の概念 (つまり、QR コード、透かし、テキスト) が組み込まれた新しい画像テキスト データセットである暗黙の概念データセット (ICD) を紹介します。
Geom-Erasing は、暗黙的コンセプトの生成を効果的に軽減し、不適切な画像プロンプト (I2P) と当社の難題な暗黙的コンセプト データセット (ICD) ベンチマークで最先端の結果を達成します。

要約(オリジナル)

Text-to-image (T2I) diffusion models often inadvertently generate unwanted concepts such as watermarks and unsafe images. These concepts, termed as the ‘implicit concepts’, could be unintentionally learned during training and then be generated uncontrollably during inference. Existing removal methods still struggle to eliminate implicit concepts primarily due to their dependency on the model’s ability to recognize concepts it actually can not discern. To address this, we utilize the intrinsic geometric characteristics of implicit concepts and present the Geom-Erasing, a novel concept removal method based on the geometric-driven control. Specifically, once an unwanted implicit concept is identified, we integrate the existence and geometric information of the concept into the text prompts with the help of an accessible classifier or detector model. Subsequently, the model is optimized to identify and disentangle this information, which is then adopted as negative prompts during generation. Moreover, we introduce the Implicit Concept Dataset (ICD), a novel image-text dataset imbued with three typical implicit concepts (i.e., QR codes, watermarks, and text), reflecting real-life situations where implicit concepts are easily injected. Geom-Erasing effectively mitigates the generation of implicit concepts, achieving the state-of-the-art results on the Inappropriate Image Prompts (I2P) and our challenging Implicit Concept Dataset (ICD) benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google