UnlearnCanvas: A Stylized Image Dataset to Benchmark Machine Unlearning for Diffusion Models

要約

拡散モデル (DM) の急速な進歩は、現実世界のさまざまな業界を変革しただけでなく、有害なコンテンツの生成、著作権紛争、固定観念や偏見の台頭など、否定的な社会的懸念ももたらしました。
これらの問題を軽減するために、機械非学習 (MU) が潜在的なソリューションとして浮上しており、さまざまなアプリケーションで DM の望ましくない生成機能を削除できることが実証されています。
しかし、既存の MU 評価方法を調べることで、DM における MU の不完全、不正確、または偏った評価につながる可能性のあるいくつかの重要な課題が明らかになりました。
これらに対処するために、私たちは MU の評価指標を強化します。これには、見落とされがちな学習後の DM の保持性測定の導入が含まれます。
さらに、関連する画像オブジェクトと組み合わせて芸術的な絵画スタイルの学習解除を評価することを容易にする、包括的な高解像度の様式化された画像データセットである UnlearnCanvas を紹介します。
我々は、このデータセットが、非学習効果のさまざまな側面に対処するための 7 つの定量的指標を特徴とする、DM 上の MU 手法の標準化および自動化された評価フレームワークを確立する上で極めて重要な役割を果たしていることを示します。
広範な実験を通じて、5 つの最先端の MU メソッドをベンチマークし、その長所と短所、および根底にある非学習メカニズムについての新たな洞察を明らかにします。
さらに、スタイル転送などの他の生成モデリング タスクのベンチマークとなる UnlearnCanvas の可能性を実証します。
UnlearnCanvas データセット、ベンチマーク、およびこの作業のすべての結果を再現するコードは、https://github.com/OPTML-Group/UnlearnCanvas にあります。

要約(オリジナル)

The rapid advancement of diffusion models (DMs) has not only transformed various real-world industries but has also introduced negative societal concerns, including the generation of harmful content, copyright disputes, and the rise of stereotypes and biases. To mitigate these issues, machine unlearning (MU) has emerged as a potential solution, demonstrating its ability to remove undesired generative capabilities of DMs in various applications. However, by examining existing MU evaluation methods, we uncover several key challenges that can result in incomplete, inaccurate, or biased evaluations for MU in DMs. To address them, we enhance the evaluation metrics for MU, including the introduction of an often-overlooked retainability measurement for DMs post-unlearning. Additionally, we introduce UnlearnCanvas, a comprehensive high-resolution stylized image dataset that facilitates us to evaluate the unlearning of artistic painting styles in conjunction with associated image objects. We show that this dataset plays a pivotal role in establishing a standardized and automated evaluation framework for MU techniques on DMs, featuring 7 quantitative metrics to address various aspects of unlearning effectiveness. Through extensive experiments, we benchmark 5 state-of-the-art MU methods, revealing novel insights into their pros and cons, and the underlying unlearning mechanisms. Furthermore, we demonstrate the potential of UnlearnCanvas to benchmark other generative modeling tasks, such as style transfer. The UnlearnCanvas dataset, benchmark, and the codes to reproduce all the results in this work can be found at https://github.com/OPTML-Group/UnlearnCanvas.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google