Unlearning or Concealment? A Critical Analysis and Evaluation Metrics for Unlearning in Diffusion Models

要約

最近の研究では、拡散モデルにおける概念の除去と対象を絞った忘却の方法に大きな関心が集まっています。
この論文では、既存の拡散モデルの非学習手法の重大な脆弱性を明らかにするために、包括的なホワイトボックス分析を実施します。
既存の方法でアンラーニングに使用される目的関数が、対応するプロンプトの対象となる概念 (忘れられることを意味する) の分離につながることを示します。
これは隠蔽であり、本来の目的である実際の学習解除ではありません。
現在の方法の非効率性は主に、特定のプロンプト セットの生成確率を減らすことに焦点が絞られており、推論プロセス中に使用される中間ガイダンスの多様な様式が無視されていることに起因しています。
この論文では、拡散モデルでのアンラーニングに一般的に使用される 4 つの手法について、理論的および実証的に厳密に検討しています。
コンセプト検索スコア (CRS) とコンセプト信頼スコア (CCS) という 2 つの新しい評価指標を導入します。
これらの指標は、学習されていない拡散モデルから忘れられた概念を回復できる、成功した敵対的攻撃セットアップに基づいています。
CRS は、未学習のモデルと、未学習後の完全にトレーニングされたモデルの潜在表現間の類似性を測定します。
ガイダンスの量が増えるにつれて、忘れていた概念がどの程度回復したかを報告します。
CCS は、操作されたデータにターゲット概念を割り当てる際のモデルの信頼度を定量化します。
ガイダンスの量が増加するにつれて、未学習モデルの世代が元のドメイン知識と一致する確率が報告されます。
拡散モデルに対して私たちが提案した厳格な指標を使用して既存のアンラーニング手法を評価すると、概念を真にアンラーニングする能力に重大な欠点があることが明らかになります。
ソースコード: https://respailab.github.io/unlearning-or-concealment

要約(オリジナル)

Recent research has seen significant interest in methods for concept removal and targeted forgetting in diffusion models. In this paper, we conduct a comprehensive white-box analysis to expose significant vulnerabilities in existing diffusion model unlearning methods. We show that the objective functions used for unlearning in the existing methods lead to decoupling of the targeted concepts (meant to be forgotten) for the corresponding prompts. This is concealment and not actual unlearning, which was the original goal. The ineffectiveness of current methods stems primarily from their narrow focus on reducing generation probabilities for specific prompt sets, neglecting the diverse modalities of intermediate guidance employed during the inference process. The paper presents a rigorous theoretical and empirical examination of four commonly used techniques for unlearning in diffusion models. We introduce two new evaluation metrics: Concept Retrieval Score (CRS) and Concept Confidence Score (CCS). These metrics are based on a successful adversarial attack setup that can recover forgotten concepts from unlearned diffusion models. The CRS measures the similarity between the latent representations of the unlearned and fully trained models after unlearning. It reports the extent of retrieval of the forgotten concepts with increasing amount of guidance. The CCS quantifies the confidence of the model in assigning the target concept to the manipulated data. It reports the probability of the unlearned model’s generations to be aligned with the original domain knowledge with increasing amount of guidance. Evaluating existing unlearning methods with our proposed stringent metrics for diffusion models reveals significant shortcomings in their ability to truly unlearn concepts. Source Code: https://respailab.github.io/unlearning-or-concealment

arxiv情報

提供元, 利用サービス

arxiv.jp, Google