Is Retain Set All You Need in Machine Unlearning? Restoring Performance of Unlearned Models with Out-Of-Distribution Images

要約

この論文では、新しい近似非学習方法である、クラスおよびアーキテクチャに依存しない選択的抽出 (SCAR) を紹介します。
SCAR は、最先端の近似非学習アルゴリズムの重要なコンポーネントである保持セットを使用せずに、モデルのテスト精度を維持しながら、特定の情報を効率的に削除します。
私たちのアプローチは、修正されたマハラノビス距離を利用して、忘れられるべきインスタンスの特徴ベクトルの学習を解除し、それらを最も近い間違ったクラス分布に合わせます。
さらに、保持セットを使用せずに元のモデルのテスト性能を保持するために、元のモデルの知識を非配布画像を含む未学習モデルに蒸留する蒸留トリックメカニズムを提案します。
重要なのは、忘れセットにアクセスせずに学習を解除する SCAR の自己忘れバージョンを提案していることです。
私たちは、3 つの公開データセットで私たちの手法の有効性を実験的に検証し、最先端の手法と比較しました。
私たちの方法は、保持セットなしで動作する方法よりも高いパフォーマンスを獲得し、保持セットに依存する最良の方法と同等のパフォーマンスを実現します。

要約(オリジナル)

In this paper, we introduce Selective-distillation for Class and Architecture-agnostic unleaRning (SCAR), a novel approximate unlearning method. SCAR efficiently eliminates specific information while preserving the model’s test accuracy without using a retain set, which is a key component in state-of-the-art approximate unlearning algorithms. Our approach utilizes a modified Mahalanobis distance to guide the unlearning of the feature vectors of the instances to be forgotten, aligning them to the nearest wrong class distribution. Moreover, we propose a distillation-trick mechanism that distills the knowledge of the original model into the unlearning model with out-of-distribution images for retaining the original model’s test performance without using any retain set. Importantly, we propose a self-forget version of SCAR that unlearns without having access to the forget set. We experimentally verified the effectiveness of our method, on three public datasets, comparing it with state-of-the-art methods. Our method obtains performance higher than methods that operate without the retain set and comparable w.r.t the best methods that rely on the retain set.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google