Adversarial Mixup Unlearning

要約

Machine Ulderningは、機械学習モデルから機密情報の削除を可能にすることにより、データプライバシーを保護することを目的とした研究の重要な分野です。
この分野でのユニークな課題の1つは、壊滅的なモデルから特定のデータを消去することを意図せずに消去することで、本質的な知識を削除し、モデルが再訓練された知識から大幅に逸脱することです。
これに対処するために、壊滅的な効果に影響を受けやすいデータをシミュレートする合成された混合サンプルを使用することにより、未学習プロセスを正規化する新しいアプローチを導入します。
私たちのアプローチの中心にあるのは、ジェネレーター・非公開のフレームワークであるMixunLearnです。そこでは、発電機が挑戦的な混乱の例を敵対的に生成し、これらの合成されたデータに基づいてターゲット情報を効果的に忘れます。
具体的には、最初に、発電機を敵対的な方向に訓練するための新しい対照的な目的を紹介します。つまり、忘れられるべき情報を明らかにし、本質的な知識を失いながら、リアナーに促す例を生成する例です。
その後、他の2つの対照的な損失条件に導かれた未サーナーは、合成された知識を失うことなく正確な不正行為を確保し、壊滅的な効果を克服するために、合成されたデータと実際のデータを共同で処理します。
ベンチマークデータセット全体の広範な評価は、この方法が最先端のアプローチを大幅に上回っており、マシンの解除に対する堅牢なソリューションを提供することを示しています。
この作業は、学習メカニズムの理解を深めるだけでなく、混合の増強で効果的な機械を解除するための基礎を築きます。

要約(オリジナル)

Machine unlearning is a critical area of research aimed at safeguarding data privacy by enabling the removal of sensitive information from machine learning models. One unique challenge in this field is catastrophic unlearning, where erasing specific data from a well-trained model unintentionally removes essential knowledge, causing the model to deviate significantly from a retrained one. To address this, we introduce a novel approach that regularizes the unlearning process by utilizing synthesized mixup samples, which simulate the data susceptible to catastrophic effects. At the core of our approach is a generator-unlearner framework, MixUnlearn, where a generator adversarially produces challenging mixup examples, and the unlearner effectively forgets target information based on these synthesized data. Specifically, we first introduce a novel contrastive objective to train the generator in an adversarial direction: generating examples that prompt the unlearner to reveal information that should be forgotten, while losing essential knowledge. Then the unlearner, guided by two other contrastive loss terms, processes the synthesized and real data jointly to ensure accurate unlearning without losing critical knowledge, overcoming catastrophic effects. Extensive evaluations across benchmark datasets demonstrate that our method significantly outperforms state-of-the-art approaches, offering a robust solution to machine unlearning. This work not only deepens understanding of unlearning mechanisms but also lays the foundation for effective machine unlearning with mixup augmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google