Towards Distribution-Agnostic Generalized Category Discovery

要約

データの不均衡と無制限の分布は、実際のビジュアル世界の 2 つの本質的な特性です。
それぞれの課題に個別に取り組むことで心強い進歩が見られましたが、現実世界のシナリオに向けてそれらを組み合わせることを目的とした取り組みはほとんどありません。
これまでのいくつかの研究では、テスト中にクローズセットサンプルを分類し、オープンセットサンプルを検出することに焦点を当ててきましたが、未知の被験者を人間として分類できることは依然として不可欠です。
この論文では、より現実的なタスクを、分布に依存しない一般化カテゴリ発見 (DA-GCD) として正式に定義します。つまり、ロングテールのオープンワールド設定で、クローズセット クラスとオープンセット クラスの両方に対するきめの細かい予測を生成します。
この困難な問題に取り組むために、我々は、対比学習ブランチと疑似ラベル付けブランチで構成され、DA-GCD タスクを解決するためのインタラクティブな監視を提供するために協力して動作する、自己バランス型共同アドバイス対比フレームワーク (BaCon) を提案します。
特に、対照学習ブランチは、擬似ラベル付けブランチの予測を正規化するための信頼性の高い分布推定を提供します。これにより、自己バランスのとれた知識伝達と提案された新しい対照損失を通じて対照学習が導かれます。
BaCon を、不均衡な半教師あり学習と一般化カテゴリ発見という 2 つの密接に関連する分野の最先端の手法と比較します。
BaCon の有効性は、すべてのベースラインにわたる優れたパフォーマンスと、さまざまなデータセットにわたる包括的な分析によって実証されます。
私たちのコードは公開されています。

要約(オリジナル)

Data imbalance and open-ended distribution are two intrinsic characteristics of the real visual world. Though encouraging progress has been made in tackling each challenge separately, few works dedicated to combining them towards real-world scenarios. While several previous works have focused on classifying close-set samples and detecting open-set samples during testing, it’s still essential to be able to classify unknown subjects as human beings. In this paper, we formally define a more realistic task as distribution-agnostic generalized category discovery (DA-GCD): generating fine-grained predictions for both close- and open-set classes in a long-tailed open-world setting. To tackle the challenging problem, we propose a Self-Balanced Co-Advice contrastive framework (BaCon), which consists of a contrastive-learning branch and a pseudo-labeling branch, working collaboratively to provide interactive supervision to resolve the DA-GCD task. In particular, the contrastive-learning branch provides reliable distribution estimation to regularize the predictions of the pseudo-labeling branch, which in turn guides contrastive learning through self-balanced knowledge transfer and a proposed novel contrastive loss. We compare BaCon with state-of-the-art methods from two closely related fields: imbalanced semi-supervised learning and generalized category discovery. The effectiveness of BaCon is demonstrated with superior performance over all baselines and comprehensive analysis across various datasets. Our code is publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google