ProMix: Combating Label Noise via Maximizing Clean Sample Utility

要約

不完全なアノテーションデータは比較的安価に入手できるため、ノイズのあるラベルを用いた学習（LNL）は魅力的なトピックとなっている。最近の最先端のアプローチは、清浄なサンプルとノイズの多いサンプルを分離するために特定の選択メカニズムを採用し、その後、半教師付き学習（SSL）技術を適用して性能を向上させている。しかし、この選択ステップでは、中程度の大きさで十分なクリーンなサブセットを提供することがほとんどであり、クリーンなサンプルの豊富なセットを見落としている。この問題を解決するために、我々は新しいLNLフレームワークProMixを提案し、性能向上のためにクリーンサンプルの有用性を最大化することを試みる。我々の手法のキーとなるのは、高信頼度サンプルを動的に拡張するために、高信頼度スコアと、与えられたラベルとの一致した予測値を持つサンプルを選択する、一致した高信頼度選択技術を提案することである。過剰なクリーンセット選択手順による潜在的な副作用を克服するために、我々はさらに、クリーンサンプルとノイズサンプルに分離された、バランスの取れた不偏の分類器を訓練することができる、新しいSSLフレームワークを考案する。広範な実験により、ProMixは、ノイズの種類とレベルが異なる複数のベンチマークにおいて、現在の最先端の結果を大幅に改善することが実証された。CIFAR-Nデータセットで平均2.48%の改善を達成した。コードはhttps://github.com/Justherozen/ProMix

要約(オリジナル)

Learning with Noisy Labels (LNL) has become an appealing topic, as imperfectly annotated data are relatively cheaper to obtain. Recent state-of-the-art approaches employ specific selection mechanisms to separate clean and noisy samples and then apply Semi-Supervised Learning (SSL) techniques for improved performance. However, the selection step mostly provides a medium-sized and decent-enough clean subset, which overlooks a rich set of clean samples. To fulfill this, we propose a novel LNL framework ProMix that attempts to maximize the utility of clean samples for boosted performance. Key to our method, we propose a matched high confidence selection technique that selects those examples with high confidence scores and matched predictions with given labels to dynamically expand a base clean sample set. To overcome the potential side effect of excessive clean set selection procedure, we further devise a novel SSL framework that is able to train balanced and unbiased classifiers on the separated clean and noisy samples. Extensive experiments demonstrate that ProMix significantly advances the current state-of-the-art results on multiple benchmarks with different types and levels of noise. It achieves an average improvement of 2.48\% on the CIFAR-N dataset. The code is available at https://github.com/Justherozen/ProMix

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL