Generalized Continual Category Discovery

要約

継続学習 (CL) 手法のほとんどは、教師あり学習設定の限界を押し広げており、エージェントは新しいラベル付きタスクを学習し、以前の知識を忘れないようにすることが期待されます。
ただし、これらの設定は、学習エージェントが新しい (完全にラベルのない) クラスと既知のクラスの例の両方を含む大量のラベルのないデータにアクセスできる現実のシナリオとはあまり一致していません。
Generalized Category Discovery (GCD) からインスピレーションを得て、この仮定を緩和する新しいフレームワークを導入します。
正確には、どのようなタスクにおいても、新しいクラスと既知のクラスの存在が許可されており、それらを発見するには教師なし学習手法の継続的なバージョンを使用する必要があります。
この設定を一般化継続カテゴリ検出 (GCCD) と呼びます。
CL と GCD を統合し、合成ベンチマークと現実のシナリオの間のギャップを橋渡しします。
一連の実験により、既存の方法では、新しいクラスのラベルのないサンプルが存在する後続のタスクからの知識を蓄積できないことを示します。
これらの制限を考慮して、教師あり信号と教師なし信号の両方を組み込み、重心適応の使用を通じて忘却を軽減する方法を提案します。
私たちの手法は、GCD 手法で採用されている強力な CL 手法を上回り、優れた表現学習パフォーマンスを示します。

要約(オリジナル)

Most of Continual Learning (CL) methods push the limit of supervised learning settings, where an agent is expected to learn new labeled tasks and not forget previous knowledge. However, these settings are not well aligned with real-life scenarios, where a learning agent has access to a vast amount of unlabeled data encompassing both novel (entirely unlabeled) classes and examples from known classes. Drawing inspiration from Generalized Category Discovery (GCD), we introduce a novel framework that relaxes this assumption. Precisely, in any task, we allow for the existence of novel and known classes, and one must use continual version of unsupervised learning methods to discover them. We call this setting Generalized Continual Category Discovery (GCCD). It unifies CL and GCD, bridging the gap between synthetic benchmarks and real-life scenarios. With a series of experiments, we present that existing methods fail to accumulate knowledge from subsequent tasks in which unlabeled samples of novel classes are present. In light of these limitations, we propose a method that incorporates both supervised and unsupervised signals and mitigates the forgetting through the use of centroid adaptation. Our method surpasses strong CL methods adopted for GCD techniques and presents a superior representation learning performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google