Automatically Discovering Novel Visual Categories with Self-supervised Prototype Learning

要約

この論文では、大規模な画像コレクションで未知のカテゴリを識別することを目的とした、新規カテゴリ発見 (NCD) の問題に取り組みます。
NCD タスクは、いくつかの部分クラスと画像しか遭遇していない現実世界のシナリオに近いため、困難です。
NCD に関する他の作業とは異なり、プロトタイプを活用して、カテゴリの識別の重要性を強調し、新しいクラスの注釈の欠落の問題を軽減します。
具体的には、原型表現学習と原型自己訓練の 2 つの主要な段階からなる新しい適応型プロトタイプ学習法を提案します。
最初の段階では、基本カテゴリと新規カテゴリを持つすべての画像に役立つ堅牢な特徴抽出器を取得します。
特徴抽出器のこのインスタンスとカテゴリの識別能力は、自己教師あり学習と適応プロトタイプによって強化されます。
第 2 段階では、プロトタイプを再び利用してオフライン疑似ラベルを修正し、カテゴリ クラスタリング用の最終パラメトリック分類子をトレーニングします。
4 つのベンチマーク データセットで広範な実験を行い、最先端のパフォーマンスを備えた提案された方法の有効性と堅牢性を実証します。

要約(オリジナル)

This paper tackles the problem of novel category discovery (NCD), which aims to discriminate unknown categories in large-scale image collections. The NCD task is challenging due to the closeness to the real-world scenarios, where we have only encountered some partial classes and images. Unlike other works on the NCD, we leverage the prototypes to emphasize the importance of category discrimination and alleviate the issue of missing annotations of novel classes. Concretely, we propose a novel adaptive prototype learning method consisting of two main stages: prototypical representation learning and prototypical self-training. In the first stage, we obtain a robust feature extractor, which could serve for all images with base and novel categories. This ability of instance and category discrimination of the feature extractor is boosted by self-supervised learning and adaptive prototypes. In the second stage, we utilize the prototypes again to rectify offline pseudo labels and train a final parametric classifier for category clustering. We conduct extensive experiments on four benchmark datasets and demonstrate the effectiveness and robustness of the proposed method with state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google