Unlocking the Power of Open Set : A New Perspective for Open-Set Noisy Label Learning

要約

ノイズの多いデータからの学習は大きな注目を集めており、ほとんどの手法は閉集合ラベル ノイズに焦点を当てています。
ただし、現実の世界でより一般的なシナリオは、開集合ノイズと閉集合ノイズの両方が存在することです。
既存の方法は通常、タイプごとに特定の戦略を設計することによって、これら 2 つのタイプのラベル ノイズを個別に識別して処理します。
ただし、現実世界の多くのシナリオでは、特にデータセットがひどく破損している場合、オープンセットの例を特定するのは困難です。
これまでの研究とは異なり、私たちは開集合の例に直面したときにモデルがどのように動作するかを調査し、 \emph{開集合の例の一部が徐々に特定の既知のクラスに統合される}、これが既知のクラス間の分離に有益であることを発見しました。
この現象に動機付けられて、我々は、開集合例の有用な情報を利用することによって両方のタイプのラベルノイズに対処することを目的とした、新しい2段階の対照学習法CECL（クラス拡張対照学習）を提案します。
具体的には、いくつかの開集合の例を閉集合クラスに組み込んでパフォーマンスを向上させ、その他の例を区切り文字として扱い、代表能力を向上させます。
さまざまなラベル ノイズを使用した合成データセットと現実世界のデータセットに関する広範な実験により、CECL の有効性が実証されています。

要約(オリジナル)

Learning from noisy data has attracted much attention, where most methods focus on closed-set label noise. However, a more common scenario in the real world is the presence of both open-set and closed-set noise. Existing methods typically identify and handle these two types of label noise separately by designing a specific strategy for each type. However, in many real-world scenarios, it would be challenging to identify open-set examples, especially when the dataset has been severely corrupted. Unlike the previous works, we explore how models behave when faced with open-set examples, and find that \emph{a part of open-set examples gradually get integrated into certain known classes}, which is beneficial for the separation among known classes. Motivated by the phenomenon, we propose a novel two-step contrastive learning method CECL (Class Expansion Contrastive Learning) which aims to deal with both types of label noise by exploiting the useful information of open-set examples. Specifically, we incorporate some open-set examples into closed-set classes to enhance performance while treating others as delimiters to improve representative ability. Extensive experiments on synthetic and real-world datasets with diverse label noise demonstrate the effectiveness of CECL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google