Loss-Free Machine Unlearning

要約

私たちは、再トレーニングもラベルも不要な機械の非学習アプローチを提案します。
既存の機械の非学習アプローチのほとんどでは、パフォーマンスを維持しながら情報を削除するためにモデルを微調整する必要があります。
これは計算コストが高く、モデルの存続期間中データセット全体を保存する必要があります。
再トレーニング不要のアプローチでは、多くの場合、損失から得られるフィッシャー情報が利用され、利用できない可能性があるラベル付きデータが必要になります。
したがって、選択的シナプス減衰アルゴリズムの拡張を提案し、モデル出力の l2 ノルムの勾配をフィッシャー情報行列の対角に置き換えて感度を近似します。
ResNet18 と Vision Transformer を使用したさまざまな実験でメソッドを評価します。
結果は、私たちのラベルフリーメソッドが既存の最先端のアプローチと競合できることを示しています。

要約(オリジナル)

We present a machine unlearning approach that is both retraining- and label-free. Most existing machine unlearning approaches require a model to be fine-tuned to remove information while preserving performance. This is computationally expensive and necessitates the storage of the whole dataset for the lifetime of the model. Retraining-free approaches often utilise Fisher information, which is derived from the loss and requires labelled data which may not be available. Thus, we present an extension to the Selective Synaptic Dampening algorithm, substituting the diagonal of the Fisher information matrix for the gradient of the l2 norm of the model output to approximate sensitivity. We evaluate our method in a range of experiments using ResNet18 and Vision Transformer. Results show our label-free method is competitive with existing state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google