Zero-Shot Machine Unlearning at Scale via Lipschitz Regularization

要約

AIやデータ規制を遵守するため、学習済みの機械学習モデルから個人情報や著作権情報を忘れる必要性がますます高まっている。学習解除における重要な課題は、モデルの性能を維持しながら、必要なデータをタイムリーに忘れることである。本研究では、ゼロショット学習解除シナリオを扱う。つまり、学習解除アルゴリズムは、学習済みモデルと学習解除すべきデータのみが与えられた場合に、データを学習解除できなければならない。このような定義の下では、既存の最先端の手法では不十分である。リプシッツ連続性の概念に基づき、我々は、忘却サンプルの出力を、そのサンプルの摂動に対して平滑化する手法を提案する。この平滑化により、一般的なモデルの性能を保ちつつ、忘却を成功させることを示す。現代の様々なベンチマークを用いて本手法の広範な実証的評価を行い、ゼロショット学習解除の厳しい制約の下で、本手法が最先端の性能を達成することを検証する。

要約(オリジナル)

To comply with AI and data regulations, the need to forget private or copyrighted information from trained machine learning models is increasingly important. The key challenge in unlearning is forgetting the necessary data in a timely manner, while preserving model performance. In this work, we address the zero-shot unlearning scenario, whereby an unlearning algorithm must be able to remove data given only a trained model and the data to be forgotten. Under such a definition, existing state-of-the-art methods are insufficient. Building on the concepts of Lipschitz continuity, we present a method that induces smoothing of the forget sample’s output, with respect to perturbations of that sample. We show this smoothing successfully results in forgetting while preserving general model performance. We perform extensive empirical evaluation of our method over a range of contemporary benchmarks, verifying that our method achieves state-of-the-art performance under the strict constraints of zero-shot unlearning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL