Dynamic Loss For Robust Learning

要約

現実世界のデータでは、ラベル ノイズとクラスの不均衡が通常共存します。
これまでの手法は堅牢な学習を目的としていますが、通常はいずれかのタイプのデータ バイアスに対処し、両方に直面するとパフォーマンスが低下します。
このギャップを軽減するために、この研究では、トレーニング プロセスで目的関数を自動的に調整し、ロングテールのノイズのあるデータから分類器を堅牢に学習する、新しいメタ学習ベースの動的損失を提示します。
具体的には、動的損失はラベル補正器とマージン生成器で構成されます。これらはそれぞれ、基礎となるデータ分布と分類器の学習状態を認識することによって、ノイズのあるラベルを補正し、クラスごとの追加的な分類マージンを生成します。
少量の不偏メタデータを多様でハードなサンプルで強化する新しい階層的サンプリング戦略を備え、動的損失の 2 つのコンポーネントはメタ学習を通じて共同で最適化され、クリーンでバランスの取れたテスト データに適切に適応する分類器を育成します。
広範な実験により、私たちの手法が、CIFAR-10/100、Animal-10N、ImageNet-LT、Webvision など、さまざまな種類のデータ バイアスを伴う複数の実世界データセットと合成データセットで最先端の精度を達成できることが示されています。
コードはまもなく公開される予定です。

要約(オリジナル)

Label noise and class imbalance commonly coexist in real-world data. Previous works for robust learning, however, usually address either one type of the data biases and underperform when facing them both. To mitigate this gap, this work presents a novel meta-learning based dynamic loss that automatically adjusts the objective functions with the training process to robustly learn a classifier from long-tailed noisy data. Concretely, our dynamic loss comprises a label corrector and a margin generator, which respectively correct noisy labels and generate additive per-class classification margins by perceiving the underlying data distribution as well as the learning state of the classifier. Equipped with a new hierarchical sampling strategy that enriches a small amount of unbiased metadata with diverse and hard samples, the two components in the dynamic loss are optimized jointly through meta-learning and cultivate the classifier to well adapt to clean and balanced test data. Extensive experiments show our method achieves state-of-the-art accuracy on multiple real-world and synthetic datasets with various types of data biases, including CIFAR-10/100, Animal-10N, ImageNet-LT, and Webvision. Code will soon be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google