HiLo: A Learning Framework for Generalized Category Discovery Robust to Domain Shifts

要約

一般化カテゴリ検出 (GCD) は、部分的にラベル付けされたデータセットが与えられた場合、モデルがラベル付けされたカテゴリに由来するか新しいカテゴリに由来するかに関係なく、ラベルのないすべてのインスタンスを分類する必要がある難しいタスクです。
この論文では、すべての画像が同じドメインを共有するという、このタスクの残りの仮定に異議を唱えます。
具体的には、ラベルなしデータにラベル付きセットとは異なるドメインの画像も含まれている場合に GCD を処理する新しいタスクとメソッドを導入します。
私たちが提案する「HiLo」ネットワークは、表現間の相互情報を最小限に抑える前に、高レベルの意味論的特徴と低レベルのドメイン特徴を抽出します。
私たちの直観では、ドメイン情報とセマンティック情報に基づくクラスタリングは独立しているはずです。
さらに、GCD タスクに合わせた特殊なドメイン拡張とカリキュラム学習アプローチを使用してメソッドを拡張します。
最後に、破損したきめの細かいデータセットからベンチマークを構築し、実際のドメイン シフトを伴う DomainNet での大規模評価を行い、この設定で多くの GCD ベースラインを再実装します。
HiLo がすべての評価において SoTA カテゴリ検出モデルを大幅に上回っていることを実証します。

要約(オリジナル)

Generalized Category Discovery (GCD) is a challenging task in which, given a partially labelled dataset, models must categorize all unlabelled instances, regardless of whether they come from labelled categories or from new ones. In this paper, we challenge a remaining assumption in this task: that all images share the same domain. Specifically, we introduce a new task and method to handle GCD when the unlabelled data also contains images from different domains to the labelled set. Our proposed `HiLo’ networks extract High-level semantic and Low-level domain features, before minimizing the mutual information between the representations. Our intuition is that the clusterings based on domain information and semantic information should be independent. We further extend our method with a specialized domain augmentation tailored for the GCD task, as well as a curriculum learning approach. Finally, we construct a benchmark from corrupted fine-grained datasets as well as a large-scale evaluation on DomainNet with real-world domain shifts, reimplementing a number of GCD baselines in this setting. We demonstrate that HiLo outperforms SoTA category discovery models by a large margin on all evaluations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google