Textual Knowledge Matters: Cross-Modality Co-Teaching for Generalized Visual Class Discovery

要約

この論文では、既知のカテゴリのラベル付きデータの知識を使用して、既知と未知の両方のカテゴリのラベルなしデータをクラスタリングすることを目的とした一般化カテゴリ検出 (GCD) の問題について研究します。
現在の GCD 手法は視覚的な手がかりのみに依存していますが、新しい視覚カテゴリーを発見する際の人間の認知プロセスのマルチモダリティの知覚的性質は無視されています。
これに対処するために、強力な視覚言語モデルを活用してマルチモダリティ GCD を達成する 2 フェーズの TextGCD フレームワークを提案します。
TextGCD には主に、検索ベースのテキスト生成 (RTG) フェーズとクロスモダリティ共同指導 (CCT) フェーズが含まれます。
まず、RTG は、さまざまなデータセットのカテゴリ タグと大規模言語モデルの属性を使用して視覚的な語彙集を構築し、検索方式で画像の説明テキストを生成します。
第 2 に、CCT はテキストとビジュアルのモダリティ間の差異を利用して相互学習を促進し、それによってビジュアル GCD を強化します。
さらに、モダリティ間のカテゴリ認識の調整を確実にするための適応型クラス調整戦略と、マルチモダリティの手がかりを統合するためのソフト投票メカニズムを設計します。
8 つのデータセットでの実験では、最先端の方法に対する私たちのアプローチの大きな優位性が示されています。
特に、当社のアプローチは、ImageNet-1k と CUB でのすべての精度において、最高の競合他社をそれぞれ 7.7% と 10.8% 上回っています。

要約(オリジナル)

In this paper, we study the problem of Generalized Category Discovery (GCD), which aims to cluster unlabeled data from both known and unknown categories using the knowledge of labeled data from known categories. Current GCD methods rely on only visual cues, which however neglect the multi-modality perceptive nature of human cognitive processes in discovering novel visual categories. To address this, we propose a two-phase TextGCD framework to accomplish multi-modality GCD by exploiting powerful Visual-Language Models. TextGCD mainly includes a retrieval-based text generation (RTG) phase and a cross-modality co-teaching (CCT) phase. First, RTG constructs a visual lexicon using category tags from diverse datasets and attributes from Large Language Models, generating descriptive texts for images in a retrieval manner. Second, CCT leverages disparities between textual and visual modalities to foster mutual learning, thereby enhancing visual GCD. In addition, we design an adaptive class aligning strategy to ensure the alignment of category perceptions between modalities as well as a soft-voting mechanism to integrate multi-modality cues. Experiments on eight datasets show the large superiority of our approach over state-of-the-art methods. Notably, our approach outperforms the best competitor, by 7.7% and 10.8% in All accuracy on ImageNet-1k and CUB, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google