Forget Vectors at Play: Universal Input Perturbations Driving Machine Unlearning in Image Classification

要約

すでにトレーニングされたモデルから特定の不要なデータの影響を消去しようとする機械非学習（MU）は、特に「忘れられる権利」のような進化するデータ規制に準拠するために、モデル編集においてますます重要になっています。
従来のアプローチは主にモデルベースであり、通常、非学習要件を満たすためにモデルの重みを再トレーニングまたは微調整する必要があります。
この研究では、新しい入力摂動ベースの観点から MU 問題にアプローチします。モデルの重みは、非学習プロセス全体を通じてそのまま残ります。
我々は、忘却ベクトルと呼ばれるプロアクティブな入力ベースの再学習戦略の存在を実証します。この戦略は、入力に依存しないデータ摂動として生成でき、モデルベースの近似再学習アプローチと同様に効果的です。
また、忘却ベクトル演算についても調査します。これにより、複数のクラス固有の忘却ベクトルが単純な操作 (線形結合など) を通じて結合され、クラス全体の任意のサブセットの忘却など、目に見えない未学習タスク用の新しい忘却ベクトルが生成されます。
広範な実験により、忘却ベクトルの有効性と適応性が検証され、最先端のモデルベースの手法と比較してその競合パフォーマンスが実証されています。
コードは https://github.com/Changchangsun/Forget-Vector で入手できます。

要約(オリジナル)

Machine unlearning (MU), which seeks to erase the influence of specific unwanted data from already-trained models, is becoming increasingly vital in model editing, particularly to comply with evolving data regulations like the “right to be forgotten”. Conventional approaches are predominantly model-based, typically requiring retraining or fine-tuning the model’s weights to meet unlearning requirements. In this work, we approach the MU problem from a novel input perturbation-based perspective, where the model weights remain intact throughout the unlearning process. We demonstrate the existence of a proactive input-based unlearning strategy, referred to forget vector, which can be generated as an input-agnostic data perturbation and remains as effective as model-based approximate unlearning approaches. We also explore forget vector arithmetic, whereby multiple class-specific forget vectors are combined through simple operations (e.g., linear combinations) to generate new forget vectors for unseen unlearning tasks, such as forgetting arbitrary subsets across classes. Extensive experiments validate the effectiveness and adaptability of the forget vector, showcasing its competitive performance relative to state-of-the-art model-based methods. Codes are available at https://github.com/Changchangsun/Forget-Vector.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google