EraseAnything: Enabling Concept Erasure in Rectified Flow Transformers

要約

全体的な生成品質を維持しながら、大規模なテキストから画像への (T2I) 拡散モデルから不要な概念を削除することは、依然として未解決の課題です。
この問題は、フロー マッチングやトランスベースのアーキテクチャを組み込んだ Stable Diffusion (SD) v3 や Flux などの新興パラダイムで特に顕著です。
これらの進歩により、もともと以前の T2I パラダイム (SD v1.4 など) 向けに設計された既存の概念消去技術の移転可能性が制限されます。
この作業では、最新のフローベースの T2I フレームワーク内で概念の消去に対処するために特別に開発された最初のメソッドである EraseAnything を紹介します。
我々は、LoRA ベースのパラメータ調整とアテンション マップ正則化を採用して、望ましくない活性化を選択的に抑制することで、概念消去を 2 レベルの最適化問題として定式化します。
さらに、不要な概念を削除することで無関係な概念のパフォーマンスが誤って損なわれないようにするための自己対比学習戦略を提案します。
実験結果は、EraseAnything がこの新しい T2I パラダイムにおける以前の方法によって残された研究ギャップをうまく埋め、幅広い概念消去タスクにわたって最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

Removing unwanted concepts from large-scale text-to-image (T2I) diffusion models while maintaining their overall generative quality remains an open challenge. This difficulty is especially pronounced in emerging paradigms, such as Stable Diffusion (SD) v3 and Flux, which incorporate flow matching and transformer-based architectures. These advancements limit the transferability of existing concept-erasure techniques that were originally designed for the previous T2I paradigm (e.g., SD v1.4). In this work, we introduce EraseAnything, the first method specifically developed to address concept erasure within the latest flow-based T2I framework. We formulate concept erasure as a bi-level optimization problem, employing LoRA-based parameter tuning and an attention map regularizer to selectively suppress undesirable activations. Furthermore, we propose a self-contrastive learning strategy to ensure that removing unwanted concepts does not inadvertently harm performance on unrelated ones. Experimental results demonstrate that EraseAnything successfully fills the research gap left by earlier methods in this new T2I paradigm, achieving state-of-the-art performance across a wide range of concept erasure tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google