Sharpness-Aware Machine Unlearning

要約

マシンの学習スキームの下でのSharpness-Aware Minimization（SAM）の有効性（SAM）の有効性を特徴付けます。
以前の研究では、SAMが騒音記憶予防で一般化を改善することを証明していますが、SAMは忘れられたセットを取り付けたときにそのような除去プロパティを放棄し、信号強度に応じてさまざまなテストエラー境界につながることを示します。
さらに、SAMの信号余剰を信号強度の順に特徴付けます。これにより、より少ない保持信号からの学習がモデルのパフォーマンスを維持し、忘れられないセットの学習により多くの重みを置くことができます。
経験的研究は、SAMがシグナルを保持するためのリラックスした要件でSGDを上回り、プレリアンまたは非学習アルゴリズムとしてさまざまな未学習の方法を強化できることを示しています。
過剰フィッティングがより厳しいサンプル固有の解除に利益をもたらす可能性があることを観察して、Sharp Minmaxを提案します。これにより、モデルを2つに分割してSAMで信号を保持し、シャープネスの最大化でシグナルを忘れてしまい、最高のパフォーマンスを達成します。
広範な実験は、SAMがデータの記憶によって測定されたさまざまな困難にわたって学習を強化し、保持セットと忘却セットの間の特徴の絡み合い、メンバーシップ推論攻撃に対する強い抵抗、および平らな損失の景観をもたらすことを示しています。

要約(オリジナル)

We characterize the effectiveness of Sharpness-aware minimization (SAM) under machine unlearning scheme, where unlearning forget signals interferes with learning retain signals. While previous work prove that SAM improves generalization with noise memorization prevention, we show that SAM abandons such denoising property when fitting the forget set, leading to various test error bounds depending on signal strength. We further characterize the signal surplus of SAM in the order of signal strength, which enables learning from less retain signals to maintain model performance and putting more weight on unlearning the forget set. Empirical studies show that SAM outperforms SGD with relaxed requirement for retain signals and can enhance various unlearning methods either as pretrain or unlearn algorithm. Observing that overfitting can benefit more stringent sample-specific unlearning, we propose Sharp MinMax, which splits the model into two to learn retain signals with SAM and unlearn forget signals with sharpness maximization, achieving best performance. Extensive experiments show that SAM enhances unlearning across varying difficulties measured by data memorization, yielding decreased feature entanglement between retain and forget sets, stronger resistance to membership inference attacks, and a flatter loss landscape.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google