PLReMix: Combating Noisy Labels with Pseudo-Label Relaxed Contrastive Representation Learning

要約

最近、事前トレーニング手法として対照表現学習 (CRL) を使用することで、ノイジー ラベル (LNL) 手法による学習のパフォーマンスが向上しました。
ただし、事前トレーニングの代わりに、エンドツーエンドのフレームワークとして CRL 損失と LNL 手法を自明に組み合わせた場合、実証実験ではパフォーマンスが大幅に低下することが示されています。
我々は、この問題が損失の最適化競合によって引き起こされることを実験を通じて検証し、擬似ラベル緩和 (PLR) 対照損失を導入することにより、エンドツーエンドの \textbf{PLReMix} フレームワークを提案します。
この PLR 損失は、不適切なネガティブ ペアをフィルタリングして除外することで各サンプルの信頼できるネガティブ セットを構築し、これらの損失を自明に組み合わせることで損失の競合を軽減します。
提案された PLR 損失はプラグイン可能であり、それを他の LNL 手法に統合し、パフォーマンスの向上を観察しました。
さらに、意味情報とモデル出力を同時に活用することで、クリーンなサンプルとノイズの多いサンプルを区別するために、2 次元ガウス混合モデルが採用されています。
複数のベンチマーク データセットでの実験により、提案された方法の有効性が実証されています。
コードは \url{https://github.com/lxysl/PLReMix} で入手できます。

要約(オリジナル)

Recently, the usage of Contrastive Representation Learning (CRL) as a pre-training technique improves the performance of learning with noisy labels (LNL) methods. However, instead of pre-training, when trivially combining CRL loss with LNL methods as an end-to-end framework, the empirical experiments show severe degeneration of the performance. We verify through experiments that this issue is caused by optimization conflicts of losses and propose an end-to-end \textbf{PLReMix} framework by introducing a Pseudo-Label Relaxed (PLR) contrastive loss. This PLR loss constructs a reliable negative set of each sample by filtering out its inappropriate negative pairs, alleviating the loss conflicts by trivially combining these losses. The proposed PLR loss is pluggable and we have integrated it into other LNL methods, observing their improved performance. Furthermore, a two-dimensional Gaussian Mixture Model is adopted to distinguish clean and noisy samples by leveraging semantic information and model outputs simultaneously. Experiments on multiple benchmark datasets demonstrate the effectiveness of the proposed method. Code is available at \url{https://github.com/lxysl/PLReMix}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google