Delve into Base-Novel Confusion: Redundancy Exploration for Few-Shot Class-Incremental Learning

要約

少数ショットクラス増分学習 (FSCIL) は、基本クラスに関する情報を保持しながら、限られたサンプルを使用して新しいクラスから知識を取得することを目的としています。
既存の手法は、新規クラスの学習中に特徴抽出器をフリーズすることで、壊滅的な忘却と過剰適合に対処します。
ただし、これらの方法は通常、基本クラスと新規クラスの間の混乱を引き起こす傾向があります。つまり、新規クラスのサンプルが基本クラスに分類されます。
本稿では、この現象を掘り下げ、その原因と解決策を検討します。
まず、混乱を特徴空間における新規クラス領域と基本クラス領域間の衝突として解釈します。
次に、基本クラスの特徴とピクセル空間内のラベルに関係のない冗長性によって衝突が発生していることがわかります。
定性的および定量的な実験を通じて、この冗長性が基本クラスのトレーニングの近道であることを特定し、衝突を軽減するために切り離すことができます。
この分析に基づいて、基本クラスと新規クラス間の衝突を軽減するために、冗長デカップリングと統合 (RDI) と呼ばれる FSCIL の手法を提案します。
RDI は、まず基本クラス空間から冗長性を切り離して、基本クラス内の機能空間を縮小します。
次に、冗長性をダミー クラスとして統合し、基底クラス間の特徴空間を拡大します。
このプロセスは、基本クラスの特徴空間を効果的に圧縮し、新規クラス用のバッファー空間を作成し、基本クラスと新規クラスの間のモデルの混乱を軽減します。
CIFAR-100、miniImageNet、CUB-200-2011 などのベンチマーク データセットにわたる広範な実験により、私たちの手法が最先端のパフォーマンスを達成できることが実証されました。

要約(オリジナル)

Few-shot class-incremental learning (FSCIL) aims to acquire knowledge from novel classes with limited samples while retaining information about base classes. Existing methods address catastrophic forgetting and overfitting by freezing the feature extractor during novel-class learning. However, these methods usually tend to cause the confusion between base and novel classes, i.e., classifying novel-class samples into base classes. In this paper, we delve into this phenomenon to study its cause and solution. We first interpret the confusion as the collision between the novel-class and the base-class region in the feature space. Then, we find the collision is caused by the label-irrelevant redundancies within the base-class feature and pixel space. Through qualitative and quantitative experiments, we identify this redundancy as the shortcut in the base-class training, which can be decoupled to alleviate the collision. Based on this analysis, to alleviate the collision between base and novel classes, we propose a method for FSCIL named Redundancy Decoupling and Integration (RDI). RDI first decouples redundancies from base-class space to shrink the intra-base-class feature space. Then, it integrates the redundancies as a dummy class to enlarge the inter-base-class feature space. This process effectively compresses the base-class feature space, creating buffer space for novel classes and alleviating the model’s confusion between the base and novel classes. Extensive experiments across benchmark datasets, including CIFAR-100, miniImageNet, and CUB-200-2011 demonstrate that our method achieves state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google