SAP: Corrective Machine Unlearning with Scaled Activation Projection for Label Noise Robustness

要約

ラベル破損 (専門家以外のアノテーションまたは敵対的攻撃によりトレーニング サンプルに誤ったラベルが付けられる) は、モデルのパフォーマンスを大幅に低下させます。
大規模で完全にラベル付けされたデータセットを取得するにはコストがかかり、モデルを最初から再トレーニングするには計算コストがかかります。
これに対処するために、新しい SVD (特異値分解) ベースの修正マシンのアンラーニング アルゴリズムである Scaled Activation Projection (SAP) を導入します。
SAP は、クロスエントロピー損失を使用して信頼できるサンプルの小さなサブセットを識別し、これらの信頼できるサンプルに対して SVD を使用して推定されたクリーンな活性化空間にモデルの重みを投影することにより、ラベル ノイズを軽減します。
このプロセスにより、誤ってラベル付けされたサンプルが原因でアクティベーションに導入されるノイズが抑制されます。
私たちの実験では、さまざまな設定による合成ノイズと実際のラベル ノイズに対する SAP の有効性を実証します。
25% の合成破損がある CIFAR データセットに SAP を適用すると、最大 6% の汎化改善が見られます。
さらに、SAP は、CIFAR データセットに対するノイズに強いトレーニング アプローチの一般化を平均で最大 3.2% 向上させることができます。
さらに、自然に破損した Clothing1M でトレーニングされた Vision Transformer モデルでは、一般化が 2.31% 改善されたことが観察されます。

要約(オリジナル)

Label corruption, where training samples are mislabeled due to non-expert annotation or adversarial attacks, significantly degrades model performance. Acquiring large, perfectly labeled datasets is costly, and retraining models from scratch is computationally expensive. To address this, we introduce Scaled Activation Projection (SAP), a novel SVD (Singular Value Decomposition)-based corrective machine unlearning algorithm. SAP mitigates label noise by identifying a small subset of trusted samples using cross-entropy loss and projecting model weights onto a clean activation space estimated using SVD on these trusted samples. This process suppresses the noise introduced in activations due to the mislabeled samples. In our experiments, we demonstrate SAP’s effectiveness on synthetic noise with different settings and real-world label noise. SAP applied to the CIFAR dataset with 25% synthetic corruption show upto 6% generalization improvements. Additionally, SAP can improve the generalization over noise robust training approaches on CIFAR dataset by ~3.2% on average. Further, we observe generalization improvements of 2.31% for a Vision Transformer model trained on naturally corrupted Clothing1M.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google