Enhanced Sample Selection with Confidence Tracking: Identifying Correctly Labeled yet Hard-to-Learn Samples in Noisy Data

要約

ノイズの多いラベルが存在する場合の画像分類のための新しいサンプル選択方法を提案します。
既存のメソッドは通常、小型サンプルを正しくラベル付けしていると見なします。
ただし、一部の正しいラベルの付いたサンプルは、モデルが学習するのが本質的に困難であり、トレーニングの初期段階で誤ったラベルのあるサンプルと同様に高い損失を示すことができます。
その結果、サンプルごとの損失にしきい値を設定して正しいラベルを選択すると、サンプル選択のリコールとリコールの間にトレードオフが発生します。
この問題に対処するために、私たちの目標は、正しくラベル付けされているが学習しにくいサンプルと誤ったラベルのあるサンプルを正確に区別し、トレードオフのジレンマを緩和することです。
これは、損失値だけに依存するのではなく、モデル予測信頼の傾向を考慮することで達成します。
経験的観察は、正しくラベル付けされたサンプルのみでのみ、注釈付きラベルのモデルの予測信頼が通常、他のクラスよりも速く増加することを示しています。
この洞察に基づいて、トレーニング中に注釈付きラベルと他のクラスの間の自信のギャップを追跡し、Mann-Kendallテストを使用してトレンドを評価することを提案します。
すべての信頼ギャップが増加する傾向がある場合、サンプルは潜在的に正しくラベル付けされていると見なされます。
当社のメソッドは、既存のサンプル選択技術にシームレスに統合できるプラグアンドプレイコンポーネントとして機能します。
いくつかの標準ベンチマークと現実世界のデータセットでの実験により、この方法は騒々しいラベルを使用して既存の学習方法のパフォーマンスを向上させることが示されています。

要約(オリジナル)

We propose a novel sample selection method for image classification in the presence of noisy labels. Existing methods typically consider small-loss samples as correctly labeled. However, some correctly labeled samples are inherently difficult for the model to learn and can exhibit high loss similar to mislabeled samples in the early stages of training. Consequently, setting a threshold on per-sample loss to select correct labels results in a trade-off between precision and recall in sample selection: a lower threshold may miss many correctly labeled hard-to-learn samples (low recall), while a higher threshold may include many mislabeled samples (low precision). To address this issue, our goal is to accurately distinguish correctly labeled yet hard-to-learn samples from mislabeled ones, thus alleviating the trade-off dilemma. We achieve this by considering the trends in model prediction confidence rather than relying solely on loss values. Empirical observations show that only for correctly labeled samples, the model’s prediction confidence for the annotated labels typically increases faster than for any other classes. Based on this insight, we propose tracking the confidence gaps between the annotated labels and other classes during training and evaluating their trends using the Mann-Kendall Test. A sample is considered potentially correctly labeled if all its confidence gaps tend to increase. Our method functions as a plug-and-play component that can be seamlessly integrated into existing sample selection techniques. Experiments on several standard benchmarks and real-world datasets demonstrate that our method enhances the performance of existing methods for learning with noisy labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google