Zero-Shot Machine Unlearning

要約

現代のプライバシー規制は、製品、サービス、企業から忘れられる権利を国民に認めています。
機械学習 (ML) アプリケーションの場合、ストレージ アーカイブだけでなく ML モデルからもデータを削除する必要があります。
ML アプリケーションに必要な法規制遵守のニーズが高まっているため、機械の非学習が新たな研究問題になりつつあります。
忘れられる権利のリクエストは、すでにトレーニングされた ML モデルから特定のデータのセットまたはクラスを削除するという形で行われます。
実際的な考慮事項により、削除されたデータを破棄した後にモデルを最初から再トレーニングすることはできません。
いくつかの既存の研究では、トレーニング データ全体、トレーニング データのサブセット、またはトレーニング中に保存された一部のメタデータを使用して、アンラーニングのモデルの重みを更新します。
ただし、多くの場合、トレーニング プロセスまたはトレーニング サンプルに関連するデータは、学習解除の目的でアクセスできない場合があります。
そこで、トレーニング サンプルをゼロにして非学習を達成することは可能でしょうか?という質問をします。
この論文では、元のデータ サンプルがゼロであるという極端だが実用的なシナリオに対応する、ゼロショット マシンのアンラーニングという新しい問題を紹介します。
次に、(a) エラー最小化-最大化ノイズと (b) ゲートされた知識伝達に基づいて、ゼロショット マシンのアンラーニングのための 2 つの新しいソリューションを提案します。
これらのメソッドは、保持データに対するモデルの有効性を維持しながら、モデルから削除データの情報を削除します。
ゼロショット アプローチは、モデル反転攻撃やメンバーシップ推論攻撃に対する優れた保護を提供します。
私たちは、アンラーニング手法の品質を効果的に測定するために、新しい評価指標であるアナムネシス インデックス (AIN) を導入します。
この実験では、ベンチマーク ビジョン データセットに対する深層学習モデルのアンラーニングに関して有望な結果が示されています。
ソースコードはここから入手できます: https://github.com/ayu987/zero-shot-unlearning

要約(オリジナル)

Modern privacy regulations grant citizens the right to be forgotten by products, services and companies. In case of machine learning (ML) applications, this necessitates deletion of data not only from storage archives but also from ML models. Due to an increasing need for regulatory compliance required for ML applications, machine unlearning is becoming an emerging research problem. The right to be forgotten requests come in the form of removal of a certain set or class of data from the already trained ML model. Practical considerations preclude retraining of the model from scratch after discarding the deleted data. The few existing studies use either the whole training data, or a subset of training data, or some metadata stored during training to update the model weights for unlearning. However, in many cases, no data related to the training process or training samples may be accessible for the unlearning purpose. We therefore ask the question: is it possible to achieve unlearning with zero training samples? In this paper, we introduce the novel problem of zero-shot machine unlearning that caters for the extreme but practical scenario where zero original data samples are available for use. We then propose two novel solutions for zero-shot machine unlearning based on (a) error minimizing-maximizing noise and (b) gated knowledge transfer. These methods remove the information of the forget data from the model while maintaining the model efficacy on the retain data. The zero-shot approach offers good protection against the model inversion attacks and membership inference attacks. We introduce a new evaluation metric, Anamnesis Index (AIN) to effectively measure the quality of the unlearning method. The experiments show promising results for unlearning in deep learning models on benchmark vision data-sets. The source code is available here: https://github.com/ayu987/zero-shot-unlearning

arxiv情報

提供元, 利用サービス

arxiv.jp, Google