Neighborhood Collective Estimation for Noisy Label Identification and Correction

要約

ノイズの多いラベルを用いた学習（LNL）は、ノイズの多いラベルに対するモデルのオーバーフィットの影響を軽減することによって、モデルの性能と一般化を向上させる戦略を設計することを目的としている。LNLの成功の鍵は、誤って割り当てられたノイズの多いラベルを修正しつつ、膨大なノイズの多いデータからできるだけ多くのクリーンなサンプルを識別することにある。最近の研究では、ノイズの検証やノイズの多いラベルの補正を行うために、個々のサンプルの予測されたラベル分布を用いるため、確証バイアスが発生しやすくなっている。この問題を軽減するため，我々は近傍集合推定を提案する．近傍集合推定とは，候補サンプルの予測信頼度を，その特徴空間上の最近傍と対比することで再推定する手法である．具体的には、本手法は2つのステップに分けられる。1) Neighborhood Collective Noise Verificationは全ての学習サンプルをクリーンなサブセットとノイズの多いサブセットに分離し、2) Neighborhood Collective Label Correctionはノイズの多いサンプルを再度ラベル付けし、さらにモデルの最適化を支援するための補助的技術を使用する。CIFAR-10、CIFAR-100、Clothing-1M、Webvision-1.0というよく使われる4つのベンチマークデータセットに対する広範な実験により、我々の提案手法が最先端の手法を大幅に上回ることが実証される。

要約(オリジナル)

Learning with noisy labels (LNL) aims at designing strategies to improve model performance and generalization by mitigating the effects of model overfitting to noisy labels. The key success of LNL lies in identifying as many clean samples as possible from massive noisy data, while rectifying the wrongly assigned noisy labels. Recent advances employ the predicted label distributions of individual samples to perform noise verification and noisy label correction, easily giving rise to confirmation bias. To mitigate this issue, we propose Neighborhood Collective Estimation, in which the predictive reliability of a candidate sample is re-estimated by contrasting it against its feature-space nearest neighbors. Specifically, our method is divided into two steps: 1) Neighborhood Collective Noise Verification to separate all training samples into a clean or noisy subset, 2) Neighborhood Collective Label Correction to relabel noisy samples, and then auxiliary techniques are used to assist further model optimization. Extensive experiments on four commonly used benchmark datasets, i.e., CIFAR-10, CIFAR-100, Clothing-1M and Webvision-1.0, demonstrate that our proposed method considerably outperforms state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL