Embedding contrastive unsupervised features to cluster in- and out-of-distribution noise in corrupted image datasets

要約

検索エンジンを用いたウェブ画像検索は、画像データセットを作成する際に手動で行うキュレーションに代わる魅力的な方法であるが、その主な欠点は、検索されたサンプルのうち誤った（ノイジー）サンプルの割合が多いことである。これらのノイジーサンプルは、誤ったカテゴリに割り当てられたが、データセット内の他のクラスと視覚的に類似した意味を持つ分布内（ID）サンプルと、データセット内のどのカテゴリとも意味的に相関しない分布外（OOD）画像の混合であることが、これまでの研究により証明されている。後者は、実際には、検索されるノイズ画像の主要なタイプである。このノイズの二重性に対処するため、我々は教師無しコントラスト特徴学習を用いて画像を特徴空間に表現する検出ステップから始まる2段のアルゴリズムを提案する。我々は、対照学習における整列と均一性の原理により、単位超球面上でOODサンプルとIDサンプルを線形に分離できることを見出した。次に、固定近傍サイズを用いて教師なし表現をスペクトル埋め込みし、クラスレベルで外れ値に敏感なクラスタリングを適用して、クリーンクラスタとOODクラスタ、およびIDのノイズ外れ値を検出する。最後に、IDノイズを正しいカテゴリに修正し、OODサンプルをガイド付き対比目的で利用し、低レベルの特徴を改善するためにクラスタリングするノイズに強いニューラルネットワークを学習させる。我々のアルゴリズムは、合成ノイズ画像データセットや実世界のウェブクローリングデータにおいて、最先端の結果を向上させる。我々の研究は完全に再現可能である[github]。

要約(オリジナル)

Using search engines for web image retrieval is a tempting alternative to manual curation when creating an image dataset, but their main drawback remains the proportion of incorrect (noisy) samples retrieved. These noisy samples have been evidenced by previous works to be a mixture of in-distribution (ID) samples, assigned to the incorrect category but presenting similar visual semantics to other classes in the dataset, and out-of-distribution (OOD) images, which share no semantic correlation with any category from the dataset. The latter are, in practice, the dominant type of noisy images retrieved. To tackle this noise duality, we propose a two stage algorithm starting with a detection step where we use unsupervised contrastive feature learning to represent images in a feature space. We find that the alignment and uniformity principles of contrastive learning allow OOD samples to be linearly separated from ID samples on the unit hypersphere. We then spectrally embed the unsupervised representations using a fixed neighborhood size and apply an outlier sensitive clustering at the class level to detect the clean and OOD clusters as well as ID noisy outliers. We finally train a noise robust neural network that corrects ID noise to the correct category and utilizes OOD samples in a guided contrastive objective, clustering them to improve low-level features. Our algorithm improves the state-of-the-art results on synthetic noise image datasets as well as real-world web-crawled data. Our work is fully reproducible [github].

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL