Model and Data Agreement for Learning with Noisy Labels

要約

ノイズの多いラベルを用いた学習は、実用的な深層学習にとって重要なトピックであり、モデルは野生のノイズの多いオープンワールドデータセットに対して堅牢であるべきだからである。最先端のノイジーラベル学習アプローチJoCoRは、ノイジーラベルの大きな比率に直面すると失敗します。さらに、一度ノイズの多いサンプルを誤って小損失サンプルとして選択すると、再び選択される可能性が高くなるため、小損失サンプルの選択もエラー蓄積の原因となる。本論文では、モデルとデータの両面から、ノイズの多いラベル学習における誤差の蓄積に対処することを試みる。モデルの観点からは、より頑健な損失関数と未選択サンプルの情報をより多く利用するために、平均点アンサンブルを導入し、誤差の蓄積を低減する。さらに、フリップ画像は元画像と同じ意味を持っているため、元画像の代わりにフリップ画像の損失値に従って損失の小さいサンプルを選択することで、データの観点からの誤差の蓄積を低減する。CIFAR-10、CIFAR-100、大規模Clothing1Mを用いた広範な実験により、本手法はラベルノイズのレベルが異なる最新のノイズラベル学習法を凌駕することが示された。また、本手法は他のノイズを含むラベル学習法とシームレスに組み合わせることで、その性能をさらに向上させることができ、他のタスクにもうまく応用することができる。コードは https://github.com/zyh-uaiaaaa/MDA-noisy-label-learning で公開されています。

要約(オリジナル)

Learning with noisy labels is a vital topic for practical deep learning as models should be robust to noisy open-world datasets in the wild. The state-of-the-art noisy label learning approach JoCoR fails when faced with a large ratio of noisy labels. Moreover, selecting small-loss samples can also cause error accumulation as once the noisy samples are mistakenly selected as small-loss samples, they are more likely to be selected again. In this paper, we try to deal with error accumulation in noisy label learning from both model and data perspectives. We introduce mean point ensemble to utilize a more robust loss function and more information from unselected samples to reduce error accumulation from the model perspective. Furthermore, as the flip images have the same semantic meaning as the original images, we select small-loss samples according to the loss values of flip images instead of the original ones to reduce error accumulation from the data perspective. Extensive experiments on CIFAR-10, CIFAR-100, and large-scale Clothing1M show that our method outperforms state-of-the-art noisy label learning methods with different levels of label noise. Our method can also be seamlessly combined with other noisy label learning methods to further improve their performance and generalize well to other tasks. The code is available in https://github.com/zyh-uaiaaaa/MDA-noisy-label-learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL