Fast Yet Effective Machine Unlearning

要約

機械学習 (ML) モデルのトレーニング中に観察されたデータの学習を解除することは、ML ベースのアプリケーションのプライバシーとセキュリティを強化する上で極めて重要な役割を果たすことができる重要なタスクです。
このペーパーでは次のような疑問が生じます: (i) 完全なトレーニング データを一度も確認せずに、ML モデルから 1 つまたは複数のクラスのデータを学習解除することはできますか?
(ii) アンラーニングのプロセスを大規模なデータセットに対して高速かつスケーラブルにし、それをさまざまなディープ ネットワークに一般化することはできますか?
上記の問題に対する効率的な解決策を提供する、エラーを最大化するノイズ生成と障害修復ベースの重み操作を備えた新しい機械学習フレームワークを紹介します。
誤差を最大化するノイズ行列は、元のモデルを使用して、アンラーニングされるクラスに対して学習されます。
ノイズ行列は、モデルの重みを操作して対象のデータ クラスを学習解除するために使用されます。
ネットワークの重みを制御して操作するための障害と修復の手順を紹介します。
障害ステップでは、ノイズ行列と非常に高い学習率を使用して、モデルに急激な非学習を誘発します。
その後、修復ステップを使用して全体的なパフォーマンスを回復します。
非常に少ない更新ステップで、モデル全体の精度を実質的に維持しながら、優れた非学習を示します。
複数のクラスを学習解除するには、単一クラスの場合と同じ数の更新ステップが必要になるため、このアプローチは大きな問題にも拡張可能になります。
私たちの方法は、既存の方法と比較して非常に効率的であり、マルチクラスのアンラーニングに機能し、元の最適化メカニズムやネットワーク設計に制約を課さず、小規模と大規模の両方のビジョンタスクでうまく機能します。
この作業は、ディープネットワークでのアンラーニングの迅速かつ簡単な実装に向けた重要なステップです。
ソースコード: https://github.com/vikram2000b/Fast-Machine-Unlearning

要約(オリジナル)

Unlearning the data observed during the training of a machine learning (ML) model is an important task that can play a pivotal role in fortifying the privacy and security of ML-based applications. This paper raises the following questions: (i) can we unlearn a single or multiple class(es) of data from a ML model without looking at the full training data even once? (ii) can we make the process of unlearning fast and scalable to large datasets, and generalize it to different deep networks? We introduce a novel machine unlearning framework with error-maximizing noise generation and impair-repair based weight manipulation that offers an efficient solution to the above questions. An error-maximizing noise matrix is learned for the class to be unlearned using the original model. The noise matrix is used to manipulate the model weights to unlearn the targeted class of data. We introduce impair and repair steps for a controlled manipulation of the network weights. In the impair step, the noise matrix along with a very high learning rate is used to induce sharp unlearning in the model. Thereafter, the repair step is used to regain the overall performance. With very few update steps, we show excellent unlearning while substantially retaining the overall model accuracy. Unlearning multiple classes requires a similar number of update steps as for a single class, making our approach scalable to large problems. Our method is quite efficient in comparison to the existing methods, works for multi-class unlearning, does not put any constraints on the original optimization mechanism or network design, and works well in both small and large-scale vision tasks. This work is an important step towards fast and easy implementation of unlearning in deep networks. Source code: https://github.com/vikram2000b/Fast-Machine-Unlearning

arxiv情報

提供元, 利用サービス

arxiv.jp, Google