Verifix: Post-Training Correction to Improve Label Noise Robustness with Verified Samples

要約

ラベルの破損 (トレーニング サンプルに不正なラベルが付けられている場合) は、機械学習モデルのパフォーマンスを大幅に低下させる可能性があります。
この破損は、多くの場合、専門家以外のラベル付けや敵対的な攻撃によって発生します。
大規模で完全にラベル付けされたデータセットを取得するにはコストがかかり、クリーンなデータセットが利用可能になったときに大規模なモデルを最初から再トレーニングするには計算コストがかかります。
この課題に対処するために、私たちは、初期トレーニング後にモデル パラメーターを調整してラベル ノイズを軽減し、再トレーニングの必要性を排除する新しいパラダイムであるトレーニング後補正を提案します。
Verifix は、小規模な検証済みデータセットを活用して 1 回の更新でモデルの重みを修正する、新しい特異値分解 (SVD) ベースのアルゴリズムです。
Verifix は SVD を使用してクリーン アクティベーション スペースを推定し、モデルの重みをこのスペースに投影して、破損したデータに対応するアクティベーションを抑制します。
合成ラベル ノイズと現実世界のラベル ノイズの両方に対する Verifix の有効性を実証します。
25% の合成破損を含む CIFAR データセットの実験では、平均 7.36% の汎化改善が示されています。
さらに、WebVision1.0 や Clothing1M などの自然に破損したデータセットでは、一般化が最大 2.63% 改善されたことが観察されています。

要約(オリジナル)

Label corruption, where training samples have incorrect labels, can significantly degrade the performance of machine learning models. This corruption often arises from non-expert labeling or adversarial attacks. Acquiring large, perfectly labeled datasets is costly, and retraining large models from scratch when a clean dataset becomes available is computationally expensive. To address this challenge, we propose Post-Training Correction, a new paradigm that adjusts model parameters after initial training to mitigate label noise, eliminating the need for retraining. We introduce Verifix, a novel Singular Value Decomposition (SVD) based algorithm that leverages a small, verified dataset to correct the model weights using a single update. Verifix uses SVD to estimate a Clean Activation Space and then projects the model’s weights onto this space to suppress activations corresponding to corrupted data. We demonstrate Verifix’s effectiveness on both synthetic and real-world label noise. Experiments on the CIFAR dataset with 25% synthetic corruption show 7.36% generalization improvements on average. Additionally, we observe generalization improvements of up to 2.63% on naturally corrupted datasets like WebVision1.0 and Clothing1M.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google