Efficient Verified Machine Unlearning For Distillation

要約

GDPRやCCPAなどの規制によって駆動されるデータプライバシーの需要の増加には、特定のトレーニングポイントの影響を迅速に削除できるマシンの未学習方法が必要です。
SISAのような検証済みのアプローチは、データのスライスとチェックポイントを使用して、中間状態に戻ることにより、単一モデルの効率的な解除を達成しますが、これらの方法は教師と学生の知識蒸留設定で苦労しています。
教師の学習は、通常、蒸留中の情報伝播のために、コストのかかる完全な生徒の再訓練を強制します。
私たちの主な貢献は、パージ（アンサンブルの再訓練保証で分割された未学習）です。
蒸留プロセスを分割し、各教師の構成要素の影響を明確な学生データサブセットに限定する構成マッピングと、増分マルチ教師戦略を導入し、データの分離を決定的に維持します。
パージフレームワークは、オーバーヘッドの再試行を大幅に削減し、教師側の学習が発生したときに部分的な学生の更新のみを必要とします。
理論的分析の両方を提供し、未学習プロセスの大幅なスピードアップと複数のデータセットでの経験的検証を提供し、標準ベースラインに匹敵する学生の精度を維持しながら、パージがこれらの効率の向上を達成することを実証します。

要約(オリジナル)

Growing data privacy demands, driven by regulations like GDPR and CCPA, require machine unlearning methods capable of swiftly removing the influence of specific training points. Although verified approaches like SISA, using data slicing and checkpointing, achieve efficient unlearning for single models by reverting to intermediate states, these methods struggle in teacher-student knowledge distillation settings. Unlearning in the teacher typically forces costly, complete student retraining due to pervasive information propagation during distillation. Our primary contribution is PURGE (Partitioned Unlearning with Retraining Guarantee for Ensembles), a novel framework integrating verified unlearning with distillation. We introduce constituent mapping and an incremental multi-teacher strategy that partitions the distillation process, confines each teacher constituent’s impact to distinct student data subsets, and crucially maintains data isolation. The PURGE framework substantially reduces retraining overhead, requiring only partial student updates when teacher-side unlearning occurs. We provide both theoretical analysis, quantifying significant speed-ups in the unlearning process, and empirical validation on multiple datasets, demonstrating that PURGE achieves these efficiency gains while maintaining student accuracy comparable to standard baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google