Influential Rank: A New Perspective of Post-training for Robust Model against Noisy Labels

要約

タイトル： Influential Rank：ノイズの多いラベルに対する頑健なモデルの事後学習の新しい視点

要約：

– 高容量のため、ディープニューラルネットワークは簡単にノイズの多いラベルに過度に適合してしまい、モデルの汎化性能が低下する可能性がある。
– この問題を克服するために、我々はラベルノイズから学習するための新しいアプローチを提案している。
– このアプローチは、事後学習を介して、ノイズの多いラベルデータ上のどの事前学習モデルでも汎化性能を大幅に向上させることができる。
– 具体的には、トレーニングされたモデルの過適合特性を利用して、誤ったラベルのサンプルを特定する。
– 私たちの事後学習アプローチは、決定境界に影響を与える高い影響力を持つサンプルを徐々に除去し、決定境界を改善して汎化性能を向上させる。
– このアプローチは、既存のラベルノイズから学習する方法と組み合わせることで、大きなシナジー効果を生み出す。
– 様々な実世界および合成ベンチマークデータセットでの実験結果は、私たちのアプローチの多様な現実的なシナリオでの妥当性を示している。

要約(オリジナル)

Deep neural network can easily overfit to even noisy labels due to its high capacity, which degrades the generalization performance of a model. To overcome this issue, we propose a new approach for learning from noisy labels (LNL) via post-training, which can significantly improve the generalization performance of any pre-trained model on noisy label data. To this end, we rather exploit the overfitting property of a trained model to identify mislabeled samples. Specifically, our post-training approach gradually removes samples with high influence on the decision boundary and refines the decision boundary to improve generalization performance. Our post-training approach creates great synergies when combined with the existing LNL methods. Experimental results on various real-world and synthetic benchmark datasets demonstrate the validity of our approach in diverse realistic scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI