MUBox: A Critical Evaluation Framework of Deep Machine Unlearning

要約

最近の法的枠組みは、忘れられる権利を義務付けており、ユーザー要求に応じて特定のデータの削除を義務付けています。
機械学習モデルから学習情報を選択的に削除することにより、Machine -Rearningは有望なソリューションとして浮上しました。
このペーパーでは、深い学習における未学習の方法を評価するために設計された包括的なプラットフォームであるMuboxを紹介します。
MUBoxは、11の多様な評価メトリックで6つの実用的なシナリオでテストされた23の高度な未学習技術を統合します。
これにより、研究者と実践者は、（1）さまざまなシナリオにわたるさまざまなマシンの未学習方法の有効性を評価および比較できます。
（2）現在の評価メトリックのパフォーマンスの不十分な影響を調べる。
（3）統一されたフレームワークで学習している機械に関する詳細な比較研究を実施する。
Muboxを活用すると、これらの未学習の方法を深い学習に体系的に評価し、いくつかの重要な洞察を明らかにします。（a）トップティアの会場で公開されたものや、学習の不格な競技の勝者を含む、最先端の未学習方法でさえ、多様なシナリオ全体で一貫性のない有効性を示します。
以前の研究では、ランダムな忘却やクラスごとの学習の不明確などの簡素化された設定に主に焦点を当てており、より困難な未学習のタスクにわたるより広範な評価の必要性を強調しています。
（b）単一の評価メトリックがモデルユーティリティの有効性、効率、保存を包括的にキャプチャできないため、不正なパフォーマンスを評価することは依然として非自明の問題です。
私たちの調査結果は、複数のメトリックを採用して、学習方法のバランスのとれた全体的な評価を実現する必要性を強調しています。
（c）預言の文脈では、私たちの評価は、特定のタイプの中毒攻撃に大きく依存している既存のアプローチの有効性の有意な変動性を明らかにしています。

要約(オリジナル)

Recent legal frameworks have mandated the right to be forgotten, obligating the removal of specific data upon user requests. Machine Unlearning has emerged as a promising solution by selectively removing learned information from machine learning models. This paper presents MUBox, a comprehensive platform designed to evaluate unlearning methods in deep learning. MUBox integrates 23 advanced unlearning techniques, tested across six practical scenarios with 11 diverse evaluation metrics. It allows researchers and practitioners to (1) assess and compare the effectiveness of different machine unlearning methods across various scenarios; (2) examine the impact of current evaluation metrics on unlearning performance; and (3) conduct detailed comparative studies on machine unlearning in a unified framework. Leveraging MUBox, we systematically evaluate these unlearning methods in deep learning and uncover several key insights: (a) Even state-of-the-art unlearning methods, including those published in top-tier venues and winners of unlearning competitions, demonstrate inconsistent effectiveness across diverse scenarios. Prior research has predominantly focused on simplified settings, such as random forgetting and class-wise unlearning, highlighting the need for broader evaluations across more difficult unlearning tasks. (b) Assessing unlearning performance remains a non-trivial problem, as no single evaluation metric can comprehensively capture the effectiveness, efficiency, and preservation of model utility. Our findings emphasize the necessity of employing multiple metrics to achieve a balanced and holistic assessment of unlearning methods. (c) In the context of depoisoning, our evaluation reveals significant variability in the effectiveness of existing approaches, which is highly dependent on the specific type of poisoning attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google