Over-Fit: Noisy-Label Detection based on the Overfitted Model Property

要約

ディープ ニューラル ネットワークは、その容量が大きいため、ノイズの多いラベルにも簡単にオーバーフィットする可能性があり、モデルの汎化パフォーマンスが低下します。
この問題を克服するために、ポストトレーニングを介してノイズの多いラベル (LNL) から学習するための新しいアプローチを提案します。これにより、ノイズの多いラベル データに対する事前トレーニング済みモデルの一般化パフォーマンスが大幅に向上します。
この目的のために、トレーニングされたモデルの過適合特性を利用して、誤ってラベル付けされたサンプルを識別します。
具体的には、トレーニング後のアプローチは、決定境界に大きな影響を与えるサンプルを徐々に削除し、決定境界を改良して一般化のパフォーマンスを向上させます。
当社のトレーニング後のアプローチは、既存の LNL メソッドと組み合わせると、大きな相乗効果を生み出します。
さまざまな実世界および合成ベンチマーク データセットに関する実験結果は、さまざまな現実的なシナリオでのアプローチの有効性を示しています。

要約(オリジナル)

Deep neural network can easily overfit to even noisy labels due to its high capacity, which degrades the generalization performance of a model. To overcome this issue, we propose a new approach for learning from noisy labels (LNL) via post-training, which can significantly improve the generalization performance of any pre-trained model on noisy label data. To this end, we rather exploit the overfitting property of a trained model to identify mislabeled samples. Specifically, our post-training approach gradually removes samples with high influence on the decision boundary and refines the decision boundary to improve generalization performance. Our post-training approach creates great synergies when combined with the existing LNL methods. Experimental results on various real-world and synthetic benchmark datasets demonstrate the validity of our approach in diverse realistic scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google