Large-scale Pre-trained Models are Surprisingly Strong in Incremental Novel Class Discovery

要約

ラベル付けされていないデータから継続的に新しい概念を発見することは、生涯学習者にとって重要な欲求です。
文献では、このような問題は、ラベル付きデータへのアクセスが新しい概念 (NCD など) を発見するために提供されるか、限られた数の増分ステップ (class-iNCD など) で発生する非常に制限された設定の下で部分的に対処されています。
この作業では、現状に挑戦し、MSc-iNCD と呼ばれるより挑戦的で実用的な学習パラダイムを提案します。このパラダイムでは、大規模な事前トレーニング済みモデルからの豊富な事前確率を利用しながら、学習が継続的かつ教師なしで行われます。
この目的のために、より長い学習シナリオの下で回復力があるだけでなく、洗練された最先端の方法と比較して驚くほど強力な単純なベースラインを提案します。
私たちは多数のベンチマークで広範な経験的評価を実施し、提案されたベースラインの有効性を示し、基準を大幅に引き上げます。

要約(オリジナル)

Discovering novel concepts from unlabelled data and in a continuous manner is an important desideratum of lifelong learners. In the literature such problems have been partially addressed under very restricted settings, where either access to labelled data is provided for discovering novel concepts (e.g., NCD) or learning occurs for a limited number of incremental steps (e.g., class-iNCD). In this work we challenge the status quo and propose a more challenging and practical learning paradigm called MSc-iNCD, where learning occurs continuously and unsupervisedly, while exploiting the rich priors from large-scale pre-trained models. To this end, we propose simple baselines that are not only resilient under longer learning scenarios, but are surprisingly strong when compared with sophisticated state-of-the-art methods. We conduct extensive empirical evaluation on a multitude of benchmarks and show the effectiveness of our proposed baselines, which significantly raises the bar.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google