Category Adaptation Meets Projected Distillation in Generalized Continual Category Discovery

要約

Generalized Continual Category Discovery (GCCD) は、新しいカテゴリを発見しながら、順次到着する部分的にラベル付けされたデータセットからの学習に取り組みます。
従来の方法は、古い知識を忘れないようにするために特徴の抽出に依存しています。
ただし、この戦略では、新しいカテゴリを適応して効果的に区別するモデルの能力が制限されます。
これに対処するために、学習可能なプロジェクターと特徴抽出を統合する新しい手法を導入し、これにより過去の知識を犠牲にすることなくモデルの適応性を強化します。
以前に学習されたカテゴリの結果として生じる分布シフトは、補助カテゴリ適応ネットワークによって軽減されます。
各コンポーネントが個別に提供するメリットはわずかですが、CAMP (Category Adaptation Meets Projected distillation) と呼ばれるそれらの組み合わせにより、新しい情報の学習と古い情報の保持の間のバランスが大幅に改善されることを実証しました。
CAMP は、いくつかの GCCD およびクラス増分学習シナリオにわたって優れたパフォーマンスを示します。
コードは https://github.com/grypesc/CAMP で入手できます。

要約(オリジナル)

Generalized Continual Category Discovery (GCCD) tackles learning from sequentially arriving, partially labeled datasets while uncovering new categories. Traditional methods depend on feature distillation to prevent forgetting the old knowledge. However, this strategy restricts the model’s ability to adapt and effectively distinguish new categories. To address this, we introduce a novel technique integrating a learnable projector with feature distillation, thus enhancing model adaptability without sacrificing past knowledge. The resulting distribution shift of the previously learned categories is mitigated with the auxiliary category adaptation network. We demonstrate that while each component offers modest benefits individually, their combination – dubbed CAMP (Category Adaptation Meets Projected distillation) – significantly improves the balance between learning new information and retaining old. CAMP exhibits superior performance across several GCCD and Class Incremental Learning scenarios. The code is available at https://github.com/grypesc/CAMP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google