Maximising the Utility of Validation Sets for Imbalanced Noisy-label Meta-learning

要約

メタ学習は、不均衡でノイズの多いラベルの学習を処理する効果的な方法ですが、ランダムに選択され、手動でラベル付けされ、バランスのとれた分散サンプルを含む検証セットに依存します。
この検証セットのランダムな選択と手動のラベル付けとバランス調整は、メタ学習には最適ではないだけでなく、クラス数に応じたスケーリングも不十分です。
したがって、最近のメタ学習の論文では、この検証セットを自動的に構築してラベルを付けるためのアドホック ヒューリスティックが提案されていますが、これらのヒューリスティックは依然としてメタ学習には最適ではありません。
この論文では、メタ学習アルゴリズムを分析し、以下に基づいて検証セットの有用性を特徴付ける新しい基準を提案します。1) 検証セットの有益性。
2) セットのクラス配分バランス。
3) セットのラベルの正確さ。
さらに、上記の基準を使用してそのユーティリティを最大化することにより、検証セットを自動的に構築する新しい不均衡なノイジー ラベル メタ学習 (INOLML) アルゴリズムを提案します。
私たちの方法は、以前のメタ学習アプローチよりも大幅に改善されており、いくつかのベンチマークで新しい最先端を設定しています。

要約(オリジナル)

Meta-learning is an effective method to handle imbalanced and noisy-label learning, but it depends on a validation set containing randomly selected, manually labelled and balanced distributed samples. The random selection and manual labelling and balancing of this validation set is not only sub-optimal for meta-learning, but it also scales poorly with the number of classes. Hence, recent meta-learning papers have proposed ad-hoc heuristics to automatically build and label this validation set, but these heuristics are still sub-optimal for meta-learning. In this paper, we analyse the meta-learning algorithm and propose new criteria to characterise the utility of the validation set, based on: 1) the informativeness of the validation set; 2) the class distribution balance of the set; and 3) the correctness of the labels of the set. Furthermore, we propose a new imbalanced noisy-label meta-learning (INOLML) algorithm that automatically builds a validation set by maximising its utility using the criteria above. Our method shows significant improvements over previous meta-learning approaches and sets the new state-of-the-art on several benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google