Generalized Category Discovery with Decoupled Prototypical Network

要約

Generalized Category Discovery (GCD) は、既知のカテゴリのみでラベル付けされた別のデータセットに基づいて、一連のラベル付けされていないデータから既知のカテゴリと新規のカテゴリの両方を認識することを目的としています。
既知のカテゴリと新しいカテゴリの違いを考慮せずに、現在のメソッドは結合された方法でそれらについて学習するため、モデルの一般化と識別能力が損なわれる可能性があります。
さらに、結合されたトレーニング アプローチは、これらのモデルがカテゴリ固有の知識をラベル付きデータからラベルなしデータに明示的に転送することを防ぎます。これにより、高レベルのセマンティック情報が失われ、モデルのパフォーマンスが低下する可能性があります。
上記の制限を緩和するために、Decoupled Prototyp Network (DPN) と呼ばれる新しいモデルを提示します。
カテゴリ プロトタイプの 2 部マッチング問題を定式化することにより、DPN は既知のカテゴリと新規のカテゴリを分離して、さまざまなトレーニング ターゲットを効果的に達成できるだけでなく、ラベル付きデータとラベルなしデータの既知のカテゴリを調整して、カテゴリ固有の知識を明示的に転送し、高レベルのセマンティクスをキャプチャすることもできます。
さらに、DPN は、提案されたセマンティック認識プロトタイプ学習 (SPL) を通じて、既知のカテゴリと新しいカテゴリの両方について、より識別可能な機能を学習できます。
意味のあるセマンティック情報をキャプチャするだけでなく、SPL は、セマンティックに重み付けされたソフト割り当てによって、ハード疑似ラベルのノイズを軽減することもできます。
広範な実験により、複数のベンチマーク データセットにわたるすべての評価指標において、DPN が最先端のモデルよりも大幅に優れていることが示されています。
コードとデータは https://github.com/Lackel/DPN で入手できます。

要約(オリジナル)

Generalized Category Discovery (GCD) aims to recognize both known and novel categories from a set of unlabeled data, based on another dataset labeled with only known categories. Without considering differences between known and novel categories, current methods learn about them in a coupled manner, which can hurt model’s generalization and discriminative ability. Furthermore, the coupled training approach prevents these models transferring category-specific knowledge explicitly from labeled data to unlabeled data, which can lose high-level semantic information and impair model performance. To mitigate above limitations, we present a novel model called Decoupled Prototypical Network (DPN). By formulating a bipartite matching problem for category prototypes, DPN can not only decouple known and novel categories to achieve different training targets effectively, but also align known categories in labeled and unlabeled data to transfer category-specific knowledge explicitly and capture high-level semantics. Furthermore, DPN can learn more discriminative features for both known and novel categories through our proposed Semantic-aware Prototypical Learning (SPL). Besides capturing meaningful semantic information, SPL can also alleviate the noise of hard pseudo labels through semantic-weighted soft assignment. Extensive experiments show that DPN outperforms state-of-the-art models by a large margin on all evaluation metrics across multiple benchmark datasets. Code and data are available at https://github.com/Lackel/DPN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google