Twin Contrastive Learning with Noisy Labels

要約

ノイズの多いデータからの学習は、モデルのパフォーマンスを大幅に低下させる困難なタスクです。
この論文では、堅牢な表現を学習し、分類のためにノイズの多いラベルを処理するための新しい対比学習モデルである TCL を紹介します。
具体的には、教師ありモデルの予測を GMM に注入して、GMM のラベルのない潜在変数をラベル ノイズの多い注釈とリンクすることにより、表現に対してガウス混合モデル (GMM) を構築します。
次に、TCL は、データ分布を考慮して、別の 2 成分 GMM による分布外の例として、間違ったラベルの例を検出します。
さらに、ノイズの多いラベルを処理するために、モデル予測から真のターゲットをブートストラップするエントロピー正則化損失を伴うクロススーパービジョンを提案します。
その結果、TCL は、ミックスアップと対照的な学習を通じて、推定されたラベルに合わせた識別表現を学習できます。
いくつかの標準的なベンチマークと実世界のデータセットに関する広範な実験結果は、TCL の優れたパフォーマンスを示しています。
特に、TCL は CIFAR-10 で 7.5\% の改善を達成し、ノイズ ラベルは 90\% であり、非常にノイズの多いシナリオです。
ソース コードは、\url{https://github.com/Hzzone/TCL} で入手できます。

要約(オリジナル)

Learning from noisy data is a challenging task that significantly degenerates the model performance. In this paper, we present TCL, a novel twin contrastive learning model to learn robust representations and handle noisy labels for classification. Specifically, we construct a Gaussian mixture model (GMM) over the representations by injecting the supervised model predictions into GMM to link label-free latent variables in GMM with label-noisy annotations. Then, TCL detects the examples with wrong labels as the out-of-distribution examples by another two-component GMM, taking into account the data distribution. We further propose a cross-supervision with an entropy regularization loss that bootstraps the true targets from model predictions to handle the noisy labels. As a result, TCL can learn discriminative representations aligned with estimated labels through mixup and contrastive learning. Extensive experimental results on several standard benchmarks and real-world datasets demonstrate the superior performance of TCL. In particular, TCL achieves 7.5\% improvements on CIFAR-10 with 90\% noisy label — an extremely noisy scenario. The source code is available at \url{https://github.com/Hzzone/TCL}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google