Machine Unlearning under Overparameterization

要約

マシンの非学習アルゴリズムは、特定のトレーニングサンプルの影響を削除することを目的としており、残りのデータのみでのトレーニングから生じるモデルを理想的に回復することです。
私たちは、多くのモデルがデータを補間するオーバーパラメータ化された設定で学習し、保持されているセット$ \ unicode {x2013} $の損失最小化ソリューションを定義している$ \ unicode {x2013} $の以前の作業のように、元のモデルが既に条件を満たしているため、$ \ unicode {x2013} $が既に存在する可能性があるためです。
このレジームでは、損失の勾配が消滅し、勾配摂動に基づいて以前の方法を効果的ではなく、新しい未学習の定義とアルゴリズムの両方を動機付けます。
この設定では、未解決のソリューションを保持されたデータ上の最小複雑さの挿入器として定義し、元のソリューションで保持されているセットのモデル勾配へのアクセスのみを必要とする新しいアルゴリズムフレームワークを提案します。
これらのモデル勾配に直交するように制限されている摂動に対する正規化された目的を最小限に抑えます。これは、補間条件の1次緩和です。
さまざまなモデルクラスについて、正確で概算の未学習保証を提供し、フレームワークの実装がさまざまな未学習実験で既存のベースラインを上回ることを実証します。

要約(オリジナル)

Machine unlearning algorithms aim to remove the influence of specific training samples, ideally recovering the model that would have resulted from training on the remaining data alone. We study unlearning in the overparameterized setting, where many models interpolate the data, and defining the unlearning solution as any loss minimizer over the retained set$\unicode{x2013}$as in prior work in the underparameterized setting$\unicode{x2013}$is inadequate, since the original model may already interpolate the retained data and satisfy this condition. In this regime, loss gradients vanish, rendering prior methods based on gradient perturbations ineffective, motivating both new unlearning definitions and algorithms. For this setting, we define the unlearning solution as the minimum-complexity interpolator over the retained data and propose a new algorithmic framework that only requires access to model gradients on the retained set at the original solution. We minimize a regularized objective over perturbations constrained to be orthogonal to these model gradients, a first-order relaxation of the interpolation condition. For different model classes, we provide exact and approximate unlearning guarantees, and we demonstrate that an implementation of our framework outperforms existing baselines across various unlearning experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google