How Does Overparameterization Affect Machine Unlearning of Deep Neural Networks?

要約

マシンの非学習は、ゼロから再訓練せずに特定のトレーニングデータを忘れるようにトレーニングされたモデルを更新するタスクです。
この論文では、深いニューラルネットワーク（DNNS）の学習がどのようにモデルパラメーター化レベルの影響を受けるかを調査します。これは、ここではDNN幅に対応しています。
最近の文献からのいくつかの未学習方法の検証ベースのチューニングを定義し、（i）DNNパラメーター化レベル、（ii）未学習の目標（未学習のデータプライバシーまたはバイアス除去）、（iii）未学習方法が未定の例を明示的に使用するかどうかに応じて、これらの方法がどのように異なるかを示します。
我々の結果は、一般化と学習の目標を達成するという点で、解き放たれたモデルがオーバーパラメータ化されたモデルに優れていることを示しています。
バイアス除去のためには、これには未学習の方法が未学習の例を使用する必要があります。
さらに、未学習が分類決定領域をどの程度変更するかを測定することにより、エラーベースの分析をさらに解明し、未学習の例の近接性において、それらを他の場所で変更しないようにします。
これにより、オーバーパラメータ化されたモデルの未学習の成功は、モデル機能の多くを変更せずに、入力空間の小さな領域のモデル機能を繊細に変更する能力に起因することを示しています。

要約(オリジナル)

Machine unlearning is the task of updating a trained model to forget specific training data without retraining from scratch. In this paper, we investigate how unlearning of deep neural networks (DNNs) is affected by the model parameterization level, which corresponds here to the DNN width. We define validation-based tuning for several unlearning methods from the recent literature, and show how these methods perform differently depending on (i) the DNN parameterization level, (ii) the unlearning goal (unlearned data privacy or bias removal), (iii) whether the unlearning method explicitly uses the unlearned examples. Our results show that unlearning excels on overparameterized models, in terms of balancing between generalization and achieving the unlearning goal; although for bias removal this requires the unlearning method to use the unlearned examples. We further elucidate our error-based analysis by measuring how much the unlearning changes the classification decision regions in the proximity of the unlearned examples, and avoids changing them elsewhere. By this we show that the unlearning success for overparameterized models stems from the ability to delicately change the model functionality in small regions in the input space while keeping much of the model functionality unchanged.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google