Fine-Grained Erasure in Text-to-Image Diffusion-based Foundation Models

要約

テキストから画像への生成モデルにおける既存の未学習アルゴリズムは、特定のターゲット概念を削除する際に、意味的に関連する概念の知識を維持できないことがよくあります：隣接として知られる課題。
これに対処するために、フェード（拡散消去のための細かい減衰）を提案し、拡散モデルで隣接する認識の不均衡を導入します。
フェードは、2つのコンポーネントで構成されています。（1）関連する概念の隣接セットを識別するコンセプト周辺と（2）メッシュモジュールは、除去、隣接、およびガイダンス損失コンポーネントの構造化された組み合わせを採用しています。
これらにより、関連する概念や無関係な概念全体で忠実度を維持しながら、ターゲット概念を正確に消去できます。
Stanford Dogs、Oxford Flowers、Cub、I2P、Imagenette、Imagenet1Kなどのデータセットで評価され、Fadeは相関概念への影響を最小限に抑えてターゲットの概念を効果的に削除し、少なくとも最大の方法で保持パフォーマンスを12％改善します。

要約(オリジナル)

Existing unlearning algorithms in text-to-image generative models often fail to preserve the knowledge of semantically related concepts when removing specific target concepts: a challenge known as adjacency. To address this, we propose FADE (Fine grained Attenuation for Diffusion Erasure), introducing adjacency aware unlearning in diffusion models. FADE comprises two components: (1) the Concept Neighborhood, which identifies an adjacency set of related concepts, and (2) Mesh Modules, employing a structured combination of Expungement, Adjacency, and Guidance loss components. These enable precise erasure of target concepts while preserving fidelity across related and unrelated concepts. Evaluated on datasets like Stanford Dogs, Oxford Flowers, CUB, I2P, Imagenette, and ImageNet1k, FADE effectively removes target concepts with minimal impact on correlated concepts, achieving atleast a 12% improvement in retention performance over state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google