Mitigating Label Noise through Data Ambiguation

要約

ラベル ノイズは、機械学習、特に表現力の高い大規模モデルがこの分野を支配するディープ ラーニングにおいて重要な課題となります。
この種のモデルは間違ったラベルを記憶する傾向があり、それによって汎化パフォーマンスに悪影響を及ぼします。
この問題に対処するために、堅牢な損失関数やより複雑なラベル補正アプローチなど、多くの方法が提案されています。
堅牢な損失関数はそのシンプルさによって魅力的ですが、通常は柔軟性に欠け、ラベル補正によりトレーニング設定が大幅に複雑になります。
この論文では、学習者が観察されたトレーニングラベルに十分に納得していない場合に備えて、ターゲット情報を「曖昧」にし、追加の補完的な候補ラベルを追加することで、両方の方法論の欠点に対処することを提案します。
より正確には、いわゆるスーパーセット学習のフレームワークを活用して、信頼度のしきい値に基づいて設定値の目標を構築します。これにより、グラウンドトゥルースについての不正確ではあるがより信頼性の高い信念が提供され、学習者が暗記効果を抑制するのに効果的に役立ちます。
広範な経験的評価において、私たちの方法は合成ノイズと現実世界のノイズに対する好ましい学習動作を実証し、誤ったトレーニング ラベルの検出と修正における有効性を確認しました。

要約(オリジナル)

Label noise poses an important challenge in machine learning, especially in deep learning, in which large models with high expressive power dominate the field. Models of that kind are prone to memorizing incorrect labels, thereby harming generalization performance. Many methods have been proposed to address this problem, including robust loss functions and more complex label correction approaches. Robust loss functions are appealing due to their simplicity, but typically lack flexibility, while label correction usually adds substantial complexity to the training setup. In this paper, we suggest to address the shortcomings of both methodologies by ‘ambiguating’ the target information, adding additional, complementary candidate labels in case the learner is not sufficiently convinced of the observed training label. More precisely, we leverage the framework of so-called superset learning to construct set-valued targets based on a confidence threshold, which deliver imprecise yet more reliable beliefs about the ground-truth, effectively helping the learner to suppress the memorization effect. In an extensive empirical evaluation, our method demonstrates favorable learning behavior on synthetic and real-world noise, confirming the effectiveness in detecting and correcting erroneous training labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google