Rethinking Machine Unlearning in Image Generation Models

要約

画像生成モデルの急増と広範なアプリケーションにより、データのプライバシーとコンテンツの安全性は大きな懸念となり、ユーザー、サービスプロバイダー、および政策立案者から大きな注目を集めました。
Machine Ulearning（MU）は、これらの課題に対処するための費用対効果が高く有望な手段として認識されています。
いくつかの進歩にもかかわらず、イメージ生成モデルの未学習（IGMU）は、たとえば、実際には顕著なギャップに直面しています。
これらは、学習メカニズムの理解と実用的な未学習アルゴリズムの設計を妨げる可能性があります。
私たちは、既存の最先端の未解決のアルゴリズムと評価基準について徹底的な評価を実行し、IGMUタスクのいくつかの重要な欠陥と課題を発見します。
これらの制限によって推進されているため、IGMUの包括的な理解、標準化された分類、信頼できる評価を促進するために、いくつかの中心的な貢献をします。
具体的には、（1）新しい階層タスク分類フレームワークであるCatigmuを設計します。
IGMUの詳細な実装ガイダンスを提供し、未学習アルゴリズムの設計とテストベッドの構築を支援します。
（2）包括的な評価フレームワークであるEvaligmuを紹介します。
5つの重要な側面にわたる信頼できる定量的メトリックが含まれています。
（3）IGMUの広範な評価、判断のためのコンテンツ検出器のトレーニング、および最先端の未学習アルゴリズムのベンチマークに使用できる高品質の未定のデータセットであるDataIGMを構築します。
EvaligmuとDataIGMを使用すると、ほとんどの既存のIGMUアルゴリズムが、特に保存と堅牢性のために、異なる評価の次元にわたって未学習の井戸を処理できないことがわかります。
コードとモデルはhttps://github.com/ryliu68/igmuで入手できます。

要約(オリジナル)

With the surge and widespread application of image generation models, data privacy and content safety have become major concerns and attracted great attention from users, service providers, and policymakers. Machine unlearning (MU) is recognized as a cost-effective and promising means to address these challenges. Despite some advancements, image generation model unlearning (IGMU) still faces remarkable gaps in practice, e.g., unclear task discrimination and unlearning guidelines, lack of an effective evaluation framework, and unreliable evaluation metrics. These can hinder the understanding of unlearning mechanisms and the design of practical unlearning algorithms. We perform exhaustive assessments over existing state-of-the-art unlearning algorithms and evaluation standards, and discover several critical flaws and challenges in IGMU tasks. Driven by these limitations, we make several core contributions, to facilitate the comprehensive understanding, standardized categorization, and reliable evaluation of IGMU. Specifically, (1) We design CatIGMU, a novel hierarchical task categorization framework. It provides detailed implementation guidance for IGMU, assisting in the design of unlearning algorithms and the construction of testbeds. (2) We introduce EvalIGMU, a comprehensive evaluation framework. It includes reliable quantitative metrics across five critical aspects. (3) We construct DataIGM, a high-quality unlearning dataset, which can be used for extensive evaluations of IGMU, training content detectors for judgment, and benchmarking the state-of-the-art unlearning algorithms. With EvalIGMU and DataIGM, we discover that most existing IGMU algorithms cannot handle the unlearning well across different evaluation dimensions, especially for preservation and robustness. Code and models are available at https://github.com/ryliu68/IGMU.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google