Novel Class Discovery for Long-tailed Recognition

要約

新しいクラスの発見は最近大きな進歩を遂げていますが、既存の手法は通常、クラスバランスのとれたベンチマークでアルゴリズムを改善することに重点を置いています。
ただし、現実世界の認識タスクでは、対応するデータセットのクラス分布が不均衡になることが多く、これがこれらのメソッドの深刻なパフォーマンス低下につながります。
この論文では、新規クラスと既知のクラスの分布がロングテールである、新規クラス発見のためのより現実的な設定を検討します。
この新しい問題の主な課題の 1 つは、ロングテールの既知クラスの助けを借りて、不均衡な新規クラスを発見することです。
この問題に取り組むために、クラスの等角プロトタイプ表現に基づいた適応型自己ラベル付け戦略を提案します。
私たちの方法は、緩和された最適トランスポート問題を解くことによって新しいクラスの高品質の擬似ラベルを推論し、既知のクラスと新しいクラスの学習におけるクラスのバイアスを効果的に軽減します。
私たちはCIFAR100、ImageNet100、Herbarium19、および大規模なiNaturalist18データセットに対して広範な実験を実行し、その結果は私たちの方法の優位性を実証しています。
私たちのコードは https://github.com/kleinzcy/NCDLR で入手できます。

要約(オリジナル)

While the novel class discovery has recently made great progress, existing methods typically focus on improving algorithms on class-balanced benchmarks. However, in real-world recognition tasks, the class distributions of their corresponding datasets are often imbalanced, which leads to serious performance degeneration of those methods. In this paper, we consider a more realistic setting for novel class discovery where the distributions of novel and known classes are long-tailed. One main challenge of this new problem is to discover imbalanced novel classes with the help of long-tailed known classes. To tackle this problem, we propose an adaptive self-labeling strategy based on an equiangular prototype representation of classes. Our method infers high-quality pseudo-labels for the novel classes by solving a relaxed optimal transport problem and effectively mitigates the class biases in learning the known and novel classes. We perform extensive experiments on CIFAR100, ImageNet100, Herbarium19 and large-scale iNaturalist18 datasets, and the results demonstrate the superiority of our method. Our code is available at https://github.com/kleinzcy/NCDLR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google