Enhanced Meta Label Correction for Coping with Label Corruption

要約

ノイズの多いラベルの存在下で学習する従来の方法では、人工的に挿入されたノイズを含むデータセットの処理には成功していますが、現実世界のノイズを適切に処理するにはまだ不十分です。
機械学習の多様な分野でメタ学習の使用が増えるにつれ、研究者は補助的な小規模でクリーンなデータセットを活用してトレーニング ラベルをメタ修正するようになりました。
それにもかかわらず、既存のメタラベル修正アプローチは、その可能性を十分に活用できていません。
この研究では、ノイズのあるラベルによる学習 (LNL) 問題に対して、EMLC と略される拡張メタラベル補正アプローチを提案します。
私たちはメタ学習プロセスを再検討し、より高速かつ正確なメタ勾配導出を導入します。
私たちは、新しいトレーニング目標を備えた、LNL 問題に明示的に適合した新しい教師アーキテクチャを提案します。
EMLC は従来のアプローチを上回り、すべての標準ベンチマークで最先端の結果を達成します。
特に、EMLC はノイズの多い現実世界のデータセット Clothing1M に関する従来技術を $1.52\%$ 強化しながら、エポックあたりの時間は $\times 0.5$ 必要となり、ベースライン アプローチと比較してメタ目標の収束がはるかに速くなります。

要約(オリジナル)

Traditional methods for learning with the presence of noisy labels have successfully handled datasets with artificially injected noise but still fall short of adequately handling real-world noise. With the increasing use of meta-learning in the diverse fields of machine learning, researchers leveraged auxiliary small clean datasets to meta-correct the training labels. Nonetheless, existing meta-label correction approaches are not fully exploiting their potential. In this study, we propose an Enhanced Meta Label Correction approach abbreviated as EMLC for the learning with noisy labels (LNL) problem. We re-examine the meta-learning process and introduce faster and more accurate meta-gradient derivations. We propose a novel teacher architecture tailored explicitly to the LNL problem, equipped with novel training objectives. EMLC outperforms prior approaches and achieves state-of-the-art results in all standard benchmarks. Notably, EMLC enhances the previous art on the noisy real-world dataset Clothing1M by $1.52\%$ while requiring $\times 0.5$ the time per epoch and with much faster convergence of the meta-objective when compared to the baseline approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google