Localized Concept Erasure for Text-to-Image Diffusion Models Using Training-Free Gated Low-Rank Adaptation

要約

微調整ベースの概念の消去は、残りの概念を維持しながらターゲットの概念を削除することにより、テキストから画像への拡散モデルから有害な内容の生成を防ぐことにおける有望な結果を実証しています。
概念の消去後に拡散モデルの生成能力を維持するには、ターゲットの概念が画像に局所的に表示され、他の領域を無傷のままにしたときに、ターゲット概念を含む画像領域のみを削除する必要があります。
ただし、以前の芸術は、特定の領域に表示されるローカライズされたターゲット概念を消去するために、他の画像領域の忠実度を妥協し、それによって画像生成の全体的なパフォーマンスを低下させることがよくあります。
これらの制限に対処するために、最初にローカライズされた概念消去と呼ばれるフレームワークを導入します。これにより、他の領域を保存しながら、画像にターゲット概念を含む特定の領域のみを削除できます。
ローカライズされた概念消去のソリューションとして、拡散モデルに軽量モジュールを注入するコンセプト消去（Gloce）のゲートローランク適応と呼ばれるトレーニングフリーアプローチを提案します。
Gloceは、低ランクマトリックスとシンプルなゲートで構成されており、トレーニングなしの概念のいくつかの世代のステップによってのみ決定されます。
グロースをイメージの埋め込みに直接適用し、ターゲットの概念のみをアクティブにするためにゲートを設計することにより、ターゲットと残りの概念が画像内で共存する場合でも、ターゲット概念の領域のみを選択的に削除できます。
大規模な実験により、グロースは、ローカライズされたターゲットの概念を消去した後のテキストプロンプトに対する画像の忠実度を改善するだけでなく、有効性、特異性、堅牢性の先行芸術を大きなマージンで上回り、大量概念の消去に拡張することができます。

要約(オリジナル)

Fine-tuning based concept erasing has demonstrated promising results in preventing generation of harmful contents from text-to-image diffusion models by removing target concepts while preserving remaining concepts. To maintain the generation capability of diffusion models after concept erasure, it is necessary to remove only the image region containing the target concept when it locally appears in an image, leaving other regions intact. However, prior arts often compromise fidelity of the other image regions in order to erase the localized target concept appearing in a specific area, thereby reducing the overall performance of image generation. To address these limitations, we first introduce a framework called localized concept erasure, which allows for the deletion of only the specific area containing the target concept in the image while preserving the other regions. As a solution for the localized concept erasure, we propose a training-free approach, dubbed Gated Low-rank adaptation for Concept Erasure (GLoCE), that injects a lightweight module into the diffusion model. GLoCE consists of low-rank matrices and a simple gate, determined only by several generation steps for concepts without training. By directly applying GLoCE to image embeddings and designing the gate to activate only for target concepts, GLoCE can selectively remove only the region of the target concepts, even when target and remaining concepts coexist within an image. Extensive experiments demonstrated GLoCE not only improves the image fidelity to text prompts after erasing the localized target concepts, but also outperforms prior arts in efficacy, specificity, and robustness by large margin and can be extended to mass concept erasure.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google