Model Sparsification Can Simplify Machine Unlearning

要約

タイトル: モデルのスッキリ化は機械の学習解除を簡素化することができる
要約:
– 最近のデータ規制によって、機械の学習解除（MU）が必要になっています。
– すでにあるデータを元にモデルを再学習することで正確な学習解除が可能ですが、その計算コストが高いため、近似的な方法が開発されています。
– 本研究は、データに基づくMUのソリューションに加えて、重み剪定によるスパース化という新しいモデルベースの視点でMUを進めています。
– 結果は、理論と実践の両方で、モデルのスパース化が近似的な学習解除の性能を向上させ、近似のギャップを狭めることができることを示しています。
– この知見に基づいて、「最初に剪定してから学習解除する」という「プルーンファースト、アンリアン（Prune first, then unlearn）」、「スパース感知アンリアン（Sparsity-aware unlearning）」という2つの新しいスパース感知型学習解除メタスキームを開発しています。
– 多数の試験では、この発見と提案が、クラス別データスクラブ、ランダムデータスクラブ、バックドアデータ忘却などのさまざまなシナリオでMUに一貫して利益をもたらすことを示しています。
– 投稿されたコードはhttps://github.com/OPTML-Group/Unlearn-Sparseで入手できます。

要約(オリジナル)

Recent data regulations necessitate machine unlearning (MU): The removal of the effect of specific examples from the model. While exact unlearning is possible by conducting a model retraining with the remaining data from scratch, its computational cost has led to the development of approximate but efficient unlearning schemes. Beyond data-centric MU solutions, we advance MU through a novel model-based viewpoint: sparsification via weight pruning. Our results in both theory and practice indicate that model sparsity can boost the multi-criteria unlearning performance of an approximate unlearner, closing the approximation gap, while continuing to be efficient. With this insight, we develop two new sparsity-aware unlearning meta-schemes, termed `prune first, then unlearn’ and `sparsity-aware unlearning’. Extensive experiments show that our findings and proposals consistently benefit MU in various scenarios, including class-wise data scrubbing, random data scrubbing, and backdoor data forgetting. One highlight is the 77% unlearning efficacy gain of fine-tuning (one of the simplest approximate unlearning methods) in the proposed sparsity-aware unlearning paradigm. Codes are available at https://github.com/OPTML-Group/Unlearn-Sparse.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI