Exploring the Limits of Deep Image Clustering using Pretrained Models

要約

タイトル：事前学習済みモデルを使用した深層画像クラスタリングの限界の探索

要約：

– 事前に学習済みの特徴量抽出器を利用することで、ラベルがない画像を分類する一般的な方法を提案する。
– 我々のアプローチは、事前学習された特徴空間内で最近傍の画像は同じラベルを共有する可能性が高いという事実に基づく、クラスタリングヘッドの自己蒸留トレーニングを含む。
– 画像間の関連性を学習するために、点間相互情報量のバリアントとインスタンスの重み付けを導入した新しい目的を提案する。
– 提案された目的は、偽陽性ペアの効果を緩和しながら、事前学習された特徴空間の構造を効率的に利用することができることを示す。
– 結果として、ImageNetとCIFAR100の$17$種類の事前学習モデルに対して$k$-meansよりもクラスタリング正解率をそれぞれ$6.1$％と$12.2$％改善した。
– 最後に、自己教師ありの事前学習されたビジョントランスフォーマーを使用して、ImageNetでのクラスタリング正解率を$61.6$％に向上させた。
– コードはオープンソース化される。

要約(オリジナル)

We present a general methodology that learns to classify images without labels by leveraging pretrained feature extractors. Our approach involves self-distillation training of clustering heads, based on the fact that nearest neighbors in the pretrained feature space are likely to share the same label. We propose a novel objective to learn associations between images by introducing a variant of pointwise mutual information together with instance weighting. We demonstrate that the proposed objective is able to attenuate the effect of false positive pairs while efficiently exploiting the structure in the pretrained feature space. As a result, we improve the clustering accuracy over $k$-means on $17$ different pretrained models by $6.1$\% and $12.2$\% on ImageNet and CIFAR100, respectively. Finally, using self-supervised pretrained vision transformers we push the clustering accuracy on ImageNet to $61.6$\%. The code will be open-sourced.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI