Utilization of Neighbor Information for Image Classification with Different Levels of Supervision

要約

一般化されたカテゴリ発見（GCD）と画像クラスタリングの両方でうまく機能する柔軟な方法で、半監視と監視なしの画像認識の間のギャップを埋めることを提案します。
これらのタスク間の動機付けの重複にもかかわらず、メソッド自体は単一のタスクに制限されています。GCDメソッドはデータのラベル部分に依存しており、深い画像クラスタリングメソッドにはラベルを効率的に活用する方法が組み込まれていません。
2つのレジームを、監視なし（クラスタリング）および半教師（GCD）設定の両方で分類のために近隣情報（UNIC）を利用する革新的なアプローチと結び付けます。
最先端のクラスタリング方法は、すでに最近の隣人に大きく依存しています。
最初は正確な正と負の隣人を識別するサンプリングとクリーニング戦略で、2つの部分で結果を大幅に改善し、次に両方のタイプの隣人をサンプリングすることで計算されたクラスタリング損失でバックボーンを微調整することにより改善します。
次に、ラベル付きの画像をグラウンドトゥルースネイバーとして利用することにより、このパイプラインをGCDに適応させます。
私たちの方法は、クラスタリング（ +3％Imagenet-100、Imagenet200）とGCD（ +0.8％Imagenet-100、 +5％CUB、 +2％scars、 +4％航空機）の両方で最先端の結果をもたらします。

要約(オリジナル)

We propose to bridge the gap between semi-supervised and unsupervised image recognition with a flexible method that performs well for both generalized category discovery (GCD) and image clustering. Despite the overlap in motivation between these tasks, the methods themselves are restricted to a single task — GCD methods are reliant on the labeled portion of the data, and deep image clustering methods have no built-in way to leverage the labels efficiently. We connect the two regimes with an innovative approach that Utilizes Neighbor Information for Classification (UNIC) both in the unsupervised (clustering) and semisupervised (GCD) setting. State-of-the-art clustering methods already rely heavily on nearest neighbors. We improve on their results substantially in two parts, first with a sampling and cleaning strategy where we identify accurate positive and negative neighbors, and secondly by finetuning the backbone with clustering losses computed by sampling both types of neighbors. We then adapt this pipeline to GCD by utilizing the labelled images as ground truth neighbors. Our method yields state-of-the-art results for both clustering (+3% ImageNet-100, Imagenet200) and GCD (+0.8% ImageNet-100, +5% CUB, +2% SCars, +4% Aircraft).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google