Novel Class Discovery without Forgetting

要約

人間は、これまでに習得した知識を活用して適応させることにより、慣れていないインスタンスを識別して区別する固有の能力を備えています。
重要なことに、彼らは以前の学習のパフォーマンスを低下させることなくこれを達成します。
これに触発されて、NCDwFの新しい実用的な問題設定を特定して定式化します。これは、機械学習モデルに、以前に表示されたカテゴリでのパフォーマンスを維持しながら、ラベルのないデータからインスタンスの新しいカテゴリを段階的に検出するタスクを実行します。
1）（使用できなくなった）ラベル付きデータのプロキシとして機能する疑似潜在表現を生成し、それによって忘却を軽減する方法、2）新しいクラスの教師なし発見を強化する相互情報量ベースの正則化、3）を提案します。
テストデータに表示カテゴリと非表示カテゴリの両方のインスタンスが含まれている場合に、一般化された推論を支援する単純な既知のクラス識別子。
知識の保持と新しいクラスの発見の間のトレードオフを測定するために、CIFAR-10、CIFAR-100、およびImageNet-1000に基づく実験プロトコルを紹介します。
私たちの広範な評価は、既存のモデルが以前に見たカテゴリを壊滅的に忘れて、新しいカテゴリを識別している一方で、私たちの方法は競合する目的の間で効果的にバランスを取ることができることを明らかにしています。
私たちの仕事が、この新たに特定された実用的な問題の設定に関するさらなる研究を引き付けることを願っています。

要約(オリジナル)

Humans possess an innate ability to identify and differentiate instances that they are not familiar with, by leveraging and adapting the knowledge that they have acquired so far. Importantly, they achieve this without deteriorating the performance on their earlier learning. Inspired by this, we identify and formulate a new, pragmatic problem setting of NCDwF: Novel Class Discovery without Forgetting, which tasks a machine learning model to incrementally discover novel categories of instances from unlabeled data, while maintaining its performance on the previously seen categories. We propose 1) a method to generate pseudo-latent representations which act as a proxy for (no longer available) labeled data, thereby alleviating forgetting, 2) a mutual-information based regularizer which enhances unsupervised discovery of novel classes, and 3) a simple Known Class Identifier which aids generalized inference when the testing data contains instances form both seen and unseen categories. We introduce experimental protocols based on CIFAR-10, CIFAR-100 and ImageNet-1000 to measure the trade-off between knowledge retention and novel class discovery. Our extensive evaluations reveal that existing models catastrophically forget previously seen categories while identifying novel categories, while our method is able to effectively balance between the competing objectives. We hope our work will attract further research into this newly identified pragmatic problem setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google