Learning with Noisy labels via Self-supervised Adversarial Noisy Masking

要約

大規模なデータセットを収集することは、ディープ モデルをトレーニングし、データに注釈を付けるために重要ですが、必然的にノイズの多いラベルが生成され、ディープ ラーニング アルゴリズムに課題が生じます。
以前の取り組みでは、ノイズの多いサンプルを特定して削除するか、トレーニング サンプル間の統計的特性 (損失値など) に従ってラベルを修正することで、この問題を軽減する傾向がありました。
このホワイトペーパーでは、この問題に新しい視点から取り組み、深い特徴マップを掘り下げることを目指しています。経験的に、クリーンで誤ったラベルの付いたサンプルでトレーニングされたモデルは、識別可能な活性化特徴分布を示すことがわかりました。
この観察から、敵対的ノイズ マスキングと呼ばれる新しいロバスト トレーニング アプローチが提案されます。
アイデアは、入力データとラベルを同時に適応的に変調し、モデルがノイズの多いサンプルをオーバーフィットするのを防ぐ、ラベル品質ガイド付きマスキング スキームを使用して深い特徴を正則化することです。
さらに、補助タスクは入力データを再構築するように設計されており、ノイズのない自己監視信号を自然に提供して、深いモデルの一般化能力を強化します。
提案された方法はシンプルで柔軟性があり、合成データセットと現実世界のノイズの多いデータセットの両方でテストされ、以前の最先端の方法よりも大幅に改善されています。

要約(オリジナル)

Collecting large-scale datasets is crucial for training deep models, annotating the data, however, inevitably yields noisy labels, which poses challenges to deep learning algorithms. Previous efforts tend to mitigate this problem via identifying and removing noisy samples or correcting their labels according to the statistical properties (e.g., loss values) among training samples. In this paper, we aim to tackle this problem from a new perspective, delving into the deep feature maps, we empirically find that models trained with clean and mislabeled samples manifest distinguishable activation feature distributions. From this observation, a novel robust training approach termed adversarial noisy masking is proposed. The idea is to regularize deep features with a label quality guided masking scheme, which adaptively modulates the input data and label simultaneously, preventing the model to overfit noisy samples. Further, an auxiliary task is designed to reconstruct input data, it naturally provides noise-free self-supervised signals to reinforce the generalization ability of deep models. The proposed method is simple and flexible, it is tested on both synthetic and real-world noisy datasets, where significant improvements are achieved over previous state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google