SelEx: Self-Expertise in Fine-Grained Generalized Category Discovery

要約

このペーパーでは、新しいカテゴリの発見と既知のカテゴリの正確な分類を同時に行うことを目的とした、一般化されたカテゴリの発見に取り組みます。
自己監視と対照学習に大きく依存した従来の方法では、きめの細かいカテゴリを区別する際に不十分なことがよくあります。
これに対処するために、「自己専門性」と呼ばれる新しい概念を導入します。これにより、微妙な違いを認識し、未知のカテゴリを明らかにするモデルの能力が強化されます。
私たちのアプローチは、教師なしと教師ありの自己専門知識戦略を組み合わせて、モデルの識別と一般化を洗練します。
最初は、階層的な擬似ラベル付けを使用して「ソフトな監督」を提供し、自己専門知識の有効性を向上させます。
私たちの教師ありテクニックは、より抽象的なポジティブサンプルとネガティブサンプルを利用することで従来の方法とは異なり、新しいカテゴリに一般化できるクラスターの形成を支援します。
一方、私たちの教師なし戦略は、カテゴリー内の例を「ハード」ネガティブとして考慮することにより、モデルがカテゴリーの区別を鮮明にすることを促進します。
理論的洞察に裏付けられた私たちの経験的結果は、私たちの方法がいくつかのきめ細かいデータセットにわたる一般化カテゴリ発見において既存の最先端技術を上回ることを示しています。
コードは https://github.com/SarahRastegar/SelEx から入手できます。

要約(オリジナル)

In this paper, we address Generalized Category Discovery, aiming to simultaneously uncover novel categories and accurately classify known ones. Traditional methods, which lean heavily on self-supervision and contrastive learning, often fall short when distinguishing between fine-grained categories. To address this, we introduce a novel concept called `self-expertise’, which enhances the model’s ability to recognize subtle differences and uncover unknown categories. Our approach combines unsupervised and supervised self-expertise strategies to refine the model’s discernment and generalization. Initially, hierarchical pseudo-labeling is used to provide `soft supervision’, improving the effectiveness of self-expertise. Our supervised technique differs from traditional methods by utilizing more abstract positive and negative samples, aiding in the formation of clusters that can generalize to novel categories. Meanwhile, our unsupervised strategy encourages the model to sharpen its category distinctions by considering within-category examples as `hard’ negatives. Supported by theoretical insights, our empirical results showcase that our method outperforms existing state-of-the-art techniques in Generalized Category Discovery across several fine-grained datasets. Our code is available at: https://github.com/SarahRastegar/SelEx.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google