PLReMix: Combating Noisy Labels with Pseudo-Label Relaxed Contrastive Representation Learning

要約

最近、ノイズのあるラベルを使用した学習 (LNL) における対照表現学習 (CRL) の応用は、ノイズのあるラベルをより適切に区別するために十分に分散された表現を学習する顕著な能力により、有望な進歩を示しています。
ただし、CRL は主に事前トレーニング手法として使用されるため、複雑な多段階のトレーニング パイプラインが必要になります。
また、CRL と教師あり LNL 手法を簡単に組み合わせると、パフォーマンスが低下することも観察されました。
CRL のネガティブ ペアとして同じクラスの異なるイメージを使用すると、CRL と教師あり損失の間で最適化の競合が発生します。
これら 2 つの問題に対処するために、損失間の競合を軽減する擬似ラベル リラックス (PLR) 対比損失を導入することで複雑なパイプラインを回避するエンドツーエンドの PLReMix フレームワークを提案します。
この PLR 損失により、予測確率の上位 k インデックスで重複する不適切なネガティブ ペアをフィルタリングして除外することにより、各サンプルの信頼できるネガティブ セットが構築され、バニラ CRL よりもコンパクトなセマンティック クラスターが得られます。
さらに、意味情報とモデル出力を同時に活用することで、クリーンなサンプルとノイズの多いサンプルを区別するために、以前に広く使用されていた 1 次元形式を拡張した 2 次元ガウス混合モデル (GMM) が採用されています。
PLR 損失と半教師あり損失は、GMM で分割されたクリーン サンプルとノイズのあるサンプルをトレーニングするために同時に適用されます。
複数のベンチマーク データセットでの実験により、提案された方法の有効性が実証されています。
私たちが提案する PLR 損失はスケーラブルであり、他の LNL 手法に簡単に統合してパフォーマンスを向上させることができます。
コードが利用可能になります。

要約(オリジナル)

Recently, the application of Contrastive Representation Learning (CRL) in learning with noisy labels (LNL) has shown promising advancements due to its remarkable ability to learn well-distributed representations for better distinguishing noisy labels. However, CRL is mainly used as a pre-training technique, leading to a complicated multi-stage training pipeline. We also observed that trivially combining CRL with supervised LNL methods decreases performance. Using different images from the same class as negative pairs in CRL creates optimization conflicts between CRL and the supervised loss. To address these two issues, we propose an end-to-end PLReMix framework that avoids the complicated pipeline by introducing a Pseudo-Label Relaxed (PLR) contrastive loss to alleviate the conflicts between losses. This PLR loss constructs a reliable negative set of each sample by filtering out its inappropriate negative pairs that overlap at the top k indices of prediction probabilities, leading to more compact semantic clusters than vanilla CRL. Furthermore, a two-dimensional Gaussian Mixture Model (GMM) is adopted to distinguish clean and noisy samples by leveraging semantic information and model outputs simultaneously, which is expanded on the previously widely used one-dimensional form. The PLR loss and a semi-supervised loss are simultaneously applied to train on the GMM divided clean and noisy samples. Experiments on multiple benchmark datasets demonstrate the effectiveness of the proposed method. Our proposed PLR loss is scalable, which can be easily integrated into other LNL methods and boost their performance. Codes will be available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google