When and How Does Known Class Help Discover Unknown Ones? Provable Understanding Through Spectral Analysis

要約

Novel Class Discovery (NCD) は、既知のクラスを含むラベル付きセットからの事前知識を活用して、ラベルなしセット内の新規クラスを推論することを目的としています。
NCD の重要性にもかかわらず、NCD には理論的基盤が不足しています。
この論文は、既知のクラスがいつ、どのように新しいクラスの発見に役立つかを形式化し、調査するための分析フレームワークを提供することでギャップを埋めます。
NCD 問題に合わせて、新しい NCD スペクトルコントラスト損失 (NSCL) によって学習できるグラフ理論的表現を導入します。
この目的を最小化することは、グラフの隣接行列を因数分解することと同等であり、これにより、証明可能な誤差限界を導き出し、NCD に必要な十分条件を提供することができます。
経験的には、NSCL は一般的なベンチマーク データセットのいくつかの強力なベースラインと同等またはそれを上回るパフォーマンスを発揮できるため、理論上の保証を享受しながら実用的に使用するには魅力的です。

要約(オリジナル)

Novel Class Discovery (NCD) aims at inferring novel classes in an unlabeled set by leveraging prior knowledge from a labeled set with known classes. Despite its importance, there is a lack of theoretical foundations for NCD. This paper bridges the gap by providing an analytical framework to formalize and investigate when and how known classes can help discover novel classes. Tailored to the NCD problem, we introduce a graph-theoretic representation that can be learned by a novel NCD Spectral Contrastive Loss (NSCL). Minimizing this objective is equivalent to factorizing the graph’s adjacency matrix, which allows us to derive a provable error bound and provide the sufficient and necessary condition for NCD. Empirically, NSCL can match or outperform several strong baselines on common benchmark datasets, which is appealing for practical usage while enjoying theoretical guarantees.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google