Composing Novel Classes: A Concept-Driven Approach to Generalized Category Discovery

要約

一般化されたカテゴリ発見（GCD）問題に取り組みます。これは、既知のクラスの知識を活用することにより、非標識データセットで新しいクラスを発見することを目的としています。
以前の作品は、共有表現スペースを通じて既知のクラス知識を利用しています。
それらの進歩にもかかわらず、私たちの分析実験は、新しいクラスが既知のクラスの事前訓練モデルの特徴空間で印象的なクラスタリング結果を達成できることを示しており、既存の方法が既知のクラス知識を完全に利用しないことを示唆しています。
それに対処するために、ConceptGCDという名前のGCDの新しいコンセプト学習フレームワークを紹介します。これは、概念を2つのタイプに分類し、既知のクラスの概念から派生可能かつ過小評価できる2つのタイプに分類し、それらを個別に学習するための段階的な学習戦略を採用します。
具体的には、私たちのフレームワークは、最初に既知のクラスの事前訓練モデルによって既知のクラスの概念を抽出し、次に共分散型の損失を伴うジェネレーター層によって派生可能な概念を生成します。
その後、ジェネレーターレイヤーを拡張して、概念スコア正規化戦略によって確保されたバランスの取れた方法で潜在的な概念を学習し、対照的な損失を統合して、以前に学習した概念を維持します。
さまざまなベンチマークデータセットでの広範な実験は、以前の最先端の方法に対するアプローチの優位性を示しています。
コードはまもなく利用可能になります。

要約(オリジナル)

We tackle the generalized category discovery (GCD) problem, which aims to discover novel classes in unlabeled datasets by leveraging the knowledge of known classes. Previous works utilize the known class knowledge through shared representation spaces. Despite their progress, our analysis experiments show that novel classes can achieve impressive clustering results on the feature space of a known class pre-trained model, suggesting that existing methods may not fully utilize known class knowledge. To address it, we introduce a novel concept learning framework for GCD, named ConceptGCD, that categorizes concepts into two types: derivable and underivable from known class concepts, and adopts a stage-wise learning strategy to learn them separately. Specifically, our framework first extracts known class concepts by a known class pre-trained model and then produces derivable concepts from them by a generator layer with a covariance-augmented loss. Subsequently, we expand the generator layer to learn underivable concepts in a balanced manner ensured by a concept score normalization strategy and integrate a contrastive loss to preserve previously learned concepts. Extensive experiments on various benchmark datasets demonstrate the superiority of our approach over the previous state-of-the-art methods. Code will be available soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google