DUCK: Distance-based Unlearning via Centroid Kinematics

要約

機械学習は、現代の人工知能モデルにおけるプライバシーの確保という差し迫った必要性によって、新たな分野として台頭しつつある。この技術は主に、ニューラルモデルが学習中に獲得した知識から、特定のデータ部分集合の残存する影響を根絶することを目的としている。このアルゴリズムは、埋め込み空間において最も近い不正な重心に一致するサンプルの除去を導くために、計量学習を用いる。本アルゴリズムの性能評価は、2つの異なるシナリオ（クラス除去、均質サンプリング除去）において、様々なベンチマークデータセットに対して行われ、最先端の性能が得られた。我々はAdaptive Unlearning Score (AUS)と呼ばれる新たな指標を導入し、対象データを忘れる際の学習解除プロセスの有効性だけでなく、元のモデルに対する性能損失も定量化する。さらに、アルゴリズムが以前に獲得した知識を消去する能力を評価するための新しいメンバーシップ推論攻撃を提案し、将来の方法論に適応できるように設計されている。

要約(オリジナル)

Machine Unlearning is rising as a new field, driven by the pressing necessity of ensuring privacy in modern artificial intelligence models. This technique primarily aims to eradicate any residual influence of a specific subset of data from the knowledge acquired by a neural model during its training. This work introduces a novel unlearning algorithm, denoted as Distance-based Unlearning via Centroid Kinematics (DUCK), which employs metric learning to guide the removal of samples matching the nearest incorrect centroid in the embedding space. Evaluation of the algorithm’s performance is conducted across various benchmark datasets in two distinct scenarios, class removal, and homogeneous sampling removal, obtaining state-of-the-art performance. We introduce a novel metric, called Adaptive Unlearning Score (AUS), encompassing not only the efficacy of the unlearning process in forgetting target data but also quantifying the performance loss relative to the original model. Moreover, we propose a novel membership inference attack to assess the algorithm’s capacity to erase previously acquired knowledge, designed to be adaptable to future methodologies.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL