Large-scale Pre-trained Models are Surprisingly Strong in Incremental Novel Class Discovery

要約

ラベルのないデータセットで新しい概念を継続的に発見することは、生涯学習者の重要な願望です。
文献では、このような問題は、関連するラベル付きセット (例: NCD) に共同でアクセスすることによって、または教師付き事前トレーニング済みモデル (例: class-iNCD) のみを活用することによって新しいクラスが学習される、非常に制限された設定の下で部分的に対処されています。
この研究では、クラス iNCD の現状に挑戦し、関連するラベル付きセットを必要とせずにクラス発見が継続的かつ真に教師なしで行われる学習パラダイムを提案します。
詳細には、強力な自己教師付き事前トレーニング モデル (PTM) からのより豊富な事前分布を活用することを提案します。
この目的を達成するために、凍結された PTM バックボーンと学習可能な線形分類器で構成されたシンプルなベースラインを提案します。これは、実装が簡単であるだけでなく、長期の学習シナリオでも回復力があります。
当社は多数のベンチマークに対して広範な実証的評価を実施し、洗練された最先端の手法と比較した場合に、提案したベースラインの有効性を示します。
コードはオープンソースです。

要約(オリジナル)

Discovering novel concepts in unlabelled datasets and in a continuous manner is an important desideratum of lifelong learners. In the literature such problems have been partially addressed under very restricted settings, where novel classes are learned by jointly accessing a related labelled set (e.g., NCD) or by leveraging only a supervisedly pre-trained model (e.g., class-iNCD). In this work we challenge the status quo in class-iNCD and propose a learning paradigm where class discovery occurs continuously and truly unsupervisedly, without needing any related labelled set. In detail, we propose to exploit the richer priors from strong self-supervised pre-trained models (PTM). To this end, we propose simple baselines, composed of a frozen PTM backbone and a learnable linear classifier, that are not only simple to implement but also resilient under longer learning scenarios. We conduct extensive empirical evaluation on a multitude of benchmarks and show the effectiveness of our proposed baselines when compared with sophisticated state-of-the-art methods. The code is open source.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google