Score Forgetting Distillation: A Swift, Data-Free Method for Machine Unlearning in Diffusion Models

要約

機械学習コミュニティは、最新の生成 AI (GenAI) モデルの信頼性と安全性を促進することの重要性をますます認識しています。
私たちは、機械非学習 (MU) が、安全、安心、信頼できる GenAI モデルを開発するための重要な基盤であると考えています。
従来の MU 手法は多くの場合、厳密な仮定に依存しており、実際のデータへのアクセスが必要です。
この論文では、「安全でない」クラスまたは概念の条件付きスコアを「安全な」クラスまたは概念の条件付きスコアと一致させることによって、拡散モデルにおける望ましくない情報の忘却を促進する革新的な MU アプローチであるスコア忘却蒸留 (SFD) を紹介します。
実際のデータの必要性を排除するために、当社の SFD フレームワークは、スコアベースの MU 損失を事前トレーニングされた拡散モデルのスコア蒸留目標に組み込んでいます。
これは、ワンステップ ジェネレーターによる合成データの生成を可能にしながら、必要な生成機能を維持する正則化項として機能します。
事前トレーニングされたラベル条件付きおよびテキストから画像への拡散モデルに関する実験は、私たちの方法が、他のクラスまたは概念の品質を維持しながら、生成中にターゲットのクラスまたは概念の忘却を効果的に加速することを示しています。
この学習されていない蒸留された拡散は、MU の新しい概念を開拓するだけでなく、拡散モデルの生成速度も加速します。
さまざまな拡散モデルとデータセットに関する私たちの実験と研究により、私たちのアプローチが一般化可能で効果的であり、拡散モデルにおける MU にとって有利であることが確認されています。

要約(オリジナル)

The machine learning community is increasingly recognizing the importance of fostering trust and safety in modern generative AI (GenAI) models. We posit machine unlearning (MU) as a crucial foundation for developing safe, secure, and trustworthy GenAI models. Traditional MU methods often rely on stringent assumptions and require access to real data. This paper introduces Score Forgetting Distillation (SFD), an innovative MU approach that promotes the forgetting of undesirable information in diffusion models by aligning the conditional scores of “unsafe” classes or concepts with those of “safe” ones. To eliminate the need for real data, our SFD framework incorporates a score-based MU loss into the score distillation objective of a pretrained diffusion model. This serves as a regularization term that preserves desired generation capabilities while enabling the production of synthetic data through a one-step generator. Our experiments on pretrained label-conditional and text-to-image diffusion models demonstrate that our method effectively accelerates the forgetting of target classes or concepts during generation, while preserving the quality of other classes or concepts. This unlearned and distilled diffusion not only pioneers a novel concept in MU but also accelerates the generation speed of diffusion models. Our experiments and studies on a range of diffusion models and datasets confirm that our approach is generalizable, effective, and advantageous for MU in diffusion models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google