HiLo: A Learning Framework for Generalized Category Discovery Robust to Domain Shifts

要約

一般化カテゴリー発見（GCD：Generalized Category Discovery）は、部分的にラベル付けされたデータセットが与えられたとき、モデルが、ラベル付けされたカテゴリーから来たのか、新しいカテゴリーから来たのかに関わらず、全てのラベル付けされていないインスタンスを分類しなければならない、困難なタスクである。本稿では、このタスクに残された仮定に挑戦する。具体的には、ラベル付けされていないデータに、ラベル付けされた集合とは異なるドメインの画像も含まれる場合に、GCDを扱う新しいタスクと手法を導入する。我々の提案する「HiLo」ネットワークは、高レベルの意味的特徴と低レベルのドメイン特徴を抽出し、その表現間の相互情報を最小化する。我々の直感は、ドメイン情報と意味情報に基づくクラスタリングは独立であるべきだということである。我々はさらに、GCDタスクに合わせた特殊なドメイン拡張と、カリキュラム学習アプローチにより、我々の手法を拡張する。最後に、実世界のドメインシフトを含むDomainNet上での大規模評価と同様に、破損した細粒度データセットからベンチマークを構築し、この設定で多くのGCDベースラインを再実装する。全ての評価において、HiLoがSoTAカテゴリ発見モデルを大きく上回ることを実証する。

要約(オリジナル)

Generalized Category Discovery (GCD) is a challenging task in which, given a partially labelled dataset, models must categorize all unlabelled instances, regardless of whether they come from labelled categories or from new ones. In this paper, we challenge a remaining assumption in this task: that all images share the same domain. Specifically, we introduce a new task and method to handle GCD when the unlabelled data also contains images from different domains to the labelled set. Our proposed `HiLo’ networks extract High-level semantic and Low-level domain features, before minimizing the mutual information between the representations. Our intuition is that the clusterings based on domain information and semantic information should be independent. We further extend our method with a specialized domain augmentation tailored for the GCD task, as well as a curriculum learning approach. Finally, we construct a benchmark from corrupted fine-grained datasets as well as a large-scale evaluation on DomainNet with real-world domain shifts, reimplementing a number of GCD baselines in this setting. We demonstrate that HiLo outperforms SoTA category discovery models by a large margin on all evaluations.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL