Modeling Inter-Class and Intra-Class Constraints in Novel Class Discovery

要約

新規クラス発見 (NCD) は、共通知識をクラス分離ラベル付きデータセットから別のラベルなしデータセットに移し、その中の新しいクラス (クラスター) を発見するモデルを学習することを目的としています。
多くの方法が提案されているだけでなく、精巧なトレーニング パイプラインと適切な目標が提案されており、NCD タスクのパフォーマンスが大幅に向上しています。
これらすべてにもかかわらず、既存の方法では NCD 設定の本質を十分に活用していないことがわかりました。
この目的のために、この論文では、対称カルバック・ライブラー発散（sKLD）に基づいて、NCDのクラス間およびクラス内の両方の制約をモデル化することを提案します。
具体的には、クラス間 sKLD 制約を提案して、ラベル付けされたクラスとラベル付けされていないクラスの間の互いに素な関係を効果的に活用し、埋め込み空間内の異なるクラスの分離可能性を強制します。
さらに、クラス内 sKLD 制約を提示して、サンプルとその拡張の間の内部関係を明示的に制約し、同時にトレーニング プロセスの安定性を確保します。
一般的な CIFAR10、CIFAR100、および ImageNet ベンチマークで広範な実験を行い、私たちの方法が新しい最先端技術を確立し、パフォーマンスを大幅に改善できることを実証することに成功しました。
以前の最先端の方法よりも、タスク認識/非依存評価プロトコルの下で-50。

要約(オリジナル)

Novel class discovery (NCD) aims at learning a model that transfers the common knowledge from a class-disjoint labelled dataset to another unlabelled dataset and discovers new classes (clusters) within it. Many methods have been proposed as well as elaborate training pipelines and appropriate objectives and considerably boosted the performance on NCD tasks. Despite all this, we find that the existing methods do not sufficiently take advantage of the essence of the NCD setting. To this end, in this paper, we propose to model both inter-class and intra-class constraints in NCD based on the symmetric Kullback-Leibler divergence (sKLD). Specifically, we propose an inter-class sKLD constraint to effectively exploit the disjoint relationship between labelled and unlabelled classes, enforcing the separability for different classes in the embedding space. In addition, we present an intra-class sKLD constraint to explicitly constrain the intra-relationship between samples and their augmentations and ensure the stability of the training process at the same time. We conduct extensive experiments on the popular CIFAR10, CIFAR100 and ImageNet benchmarks and successfully demonstrate that our method can establish a new state of the art and can achieve significantly performance improvements, e.g., $3.6\%$/$7.9\%$ clustering accuracy improvements on CIFAR100-50 under the task-aware/-agnostic evaluation protocol, over previous state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google