Model Sparsity Can Simplify Machine Unlearning

要約

最近のデータ規制要件に対応して、機械非学習 (MU) は、特定のモデルから特定の例の影響を除去するための重要なプロセスとして浮上しています。
正確な非学習は、残りのデータセットを使用してモデルを完全に再トレーニングすることで実現できますが、関連する計算コストにより、効率的な近似的非学習手法の開発が推進されてきました。
データ中心の MU アプローチを超えて、私たちの研究では、新しいモデルベースの視点、つまり重み枝刈りによるモデルのスパース化を導入しています。これにより、正確な非学習と近似的な非学習の間のギャップを減らすことができます。
私たちは理論と実践の両方で、モデルのスパース性が近似非学習器の多基準の非学習パフォーマンスを向上させ、効率を維持しながら近似のギャップを埋めることができることを示しています。
これは、最初にプルーンしてからアンラーンと呼ばれる、新しい MU パラダイムにつながり、アンラーニング プロセスに先立ってスパース モデルを注入します。
この洞察に基づいて、スパース正則化を利用して近似非学習のトレーニング プロセスを強化する、スパースを意識した非学習方法も開発します。
広範な実験により、私たちの提案はさまざまな非学習シナリオにおいて一貫して MU に利益をもたらすことが示されています。
注目に値するハイライトは、スパース性を意識した再学習を使用した場合の、ファインチューニング (最も単純な再学習方法の 1 つ) の非学習効率が 77% 向上したことです。
さらに、バックドア攻撃に対する防御や転移学習の強化など、他の機械学習の課題に対処する際の、提案した MU 手法の実際的な効果を実証します。
コードは https://github.com/OPTML-Group/Unlearn-Sparse で入手できます。

要約(オリジナル)

In response to recent data regulation requirements, machine unlearning (MU) has emerged as a critical process to remove the influence of specific examples from a given model. Although exact unlearning can be achieved through complete model retraining using the remaining dataset, the associated computational costs have driven the development of efficient, approximate unlearning techniques. Moving beyond data-centric MU approaches, our study introduces a novel model-based perspective: model sparsification via weight pruning, which is capable of reducing the gap between exact unlearning and approximate unlearning. We show in both theory and practice that model sparsity can boost the multi-criteria unlearning performance of an approximate unlearner, closing the approximation gap, while continuing to be efficient. This leads to a new MU paradigm, termed prune first, then unlearn, which infuses a sparse model prior into the unlearning process. Building on this insight, we also develop a sparsity-aware unlearning method that utilizes sparsity regularization to enhance the training process of approximate unlearning. Extensive experiments show that our proposals consistently benefit MU in various unlearning scenarios. A notable highlight is the 77% unlearning efficacy gain of fine-tuning (one of the simplest unlearning methods) when using sparsity-aware unlearning. Furthermore, we demonstrate the practical impact of our proposed MU methods in addressing other machine learning challenges, such as defending against backdoor attacks and enhancing transfer learning. Codes are available at https://github.com/OPTML-Group/Unlearn-Sparse.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google