Embedding contrastive unsupervised features to cluster in- and out-of-distribution noise in corrupted image datasets

要約

Web画像検索に検索エンジンを使用することは、画像データセットを作成する際の手動キュレーションの魅力的な代替手段ですが、それらの主な欠点は、取得される誤った（ノイズの多い）サンプルの割合のままです。
これらのノイズの多いサンプルは、以前の作業で、誤ったカテゴリに割り当てられているが、データセット内の他のクラスと同様の視覚的セマンティクスを示す分布内（ID）サンプルと、分布外（OOD）画像の混合物であることが証明されています。
データセットのどのカテゴリとも意味的な相関関係はありません。
後者は、実際には、取得されるノイズの多い画像の主なタイプです。
このノイズの二重性に取り組むために、教師なし対照的特徴学習を使用して特徴空間内の画像を表現する検出ステップから始まる2段階のアルゴリズムを提案します。
対照的な学習の整列と均一性の原理により、OODサンプルをユニット超球上のIDサンプルから線形に分離できることがわかります。
次に、固定の近隣サイズを使用して教師なし表現をスペクトル的に埋め込み、クラスレベルで外れ値に敏感なクラスタリングを適用して、クリーンなOODクラスターとIDノイズの多い外れ値を検出します。
最後に、IDノイズを正しいカテゴリに修正し、ガイド付きの対照的な目的でOODサンプルを利用し、それらをクラスタリングして低レベルの機能を改善する、ノイズに強いニューラルネットワークをトレーニングします。
私たちのアルゴリズムは、合成ノイズ画像データセットと実際のWebクロールデータに関する最先端の結果を改善します。
私たちの仕事は完全に再現可能なgithub.com/PaulAlbert31/SNCFです。

要約(オリジナル)

Using search engines for web image retrieval is a tempting alternative to manual curation when creating an image dataset, but their main drawback remains the proportion of incorrect (noisy) samples retrieved. These noisy samples have been evidenced by previous works to be a mixture of in-distribution (ID) samples, assigned to the incorrect category but presenting similar visual semantics to other classes in the dataset, and out-of-distribution (OOD) images, which share no semantic correlation with any category from the dataset. The latter are, in practice, the dominant type of noisy images retrieved. To tackle this noise duality, we propose a two stage algorithm starting with a detection step where we use unsupervised contrastive feature learning to represent images in a feature space. We find that the alignment and uniformity principles of contrastive learning allow OOD samples to be linearly separated from ID samples on the unit hypersphere. We then spectrally embed the unsupervised representations using a fixed neighborhood size and apply an outlier sensitive clustering at the class level to detect the clean and OOD clusters as well as ID noisy outliers. We finally train a noise robust neural network that corrects ID noise to the correct category and utilizes OOD samples in a guided contrastive objective, clustering them to improve low-level features. Our algorithm improves the state-of-the-art results on synthetic noise image datasets as well as real-world web-crawled data. Our work is fully reproducible github.com/PaulAlbert31/SNCF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google