Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning

要約

FSCIL (Few-shot class-incremental learning) は、新しいセッションで新規クラスごとにアクセスできる学習サンプルがわずかであるため、困難な問題であった。これは、新しいセッションの各新規クラスにアクセスできる学習サンプルが少ないためである。バックボーンを微調整したり、前のセッションで学習した分類器のプロトタイプを調整したりすると、古いクラスの特徴と分類器の間にミスアライメントが生じることが避けられず、これはよく知られた破局的忘却問題を説明する。本論文では、最近発見された神経崩壊という現象にヒントを得て、FSCILにおけるこの不整列のジレンマを扱う。この現象は、同じクラスの最終層の特徴が頂点に崩壊し、すべてのクラスの頂点が、単純な等角タイトフレーム（ETF）として形成される分類器プロトタイプに整列することを明らかにするものである。これはフィッシャー判別比の最大化により、分類に最適な幾何学的構造に相当する。我々はFSCILのために神経崩壊にインスパイアされたフレームワークを提案する。分類器プロトタイプのグループは、基本セッションと全ての増分セッションを含むラベル空間全体に対するシンプレックスETFとして予め割り当てられている。学習中、分類器プロトタイプは学習不可能であり、我々は、特徴を対応するプロトタイプに追い込む新しい損失関数を採用する。理論解析の結果、我々の方法はニューラルコンプレッションの最適性を保持し、漸進的な方法で特徴量-分類器の整列を壊さないことが示された。また、miniImageNet、CUB-200、CIFAR-100の各データセットを用いた実験により、提案するフレームワークが最先端の性能を上回ることを実証する。コードアドレス: https://github.com/NeuralCollapseApplications/FSCIL

要約(オリジナル)

Few-shot class-incremental learning (FSCIL) has been a challenging problem as only a few training samples are accessible for each novel class in the new sessions. Finetuning the backbone or adjusting the classifier prototypes trained in the prior sessions would inevitably cause a misalignment between the feature and classifier of old classes, which explains the well-known catastrophic forgetting problem. In this paper, we deal with this misalignment dilemma in FSCIL inspired by the recently discovered phenomenon named neural collapse, which reveals that the last-layer features of the same class will collapse into a vertex, and the vertices of all classes are aligned with the classifier prototypes, which are formed as a simplex equiangular tight frame (ETF). It corresponds to an optimal geometric structure for classification due to the maximized Fisher Discriminant Ratio. We propose a neural collapse inspired framework for FSCIL. A group of classifier prototypes are pre-assigned as a simplex ETF for the whole label space, including the base session and all the incremental sessions. During training, the classifier prototypes are not learnable, and we adopt a novel loss function that drives the features into their corresponding prototypes. Theoretical analysis shows that our method holds the neural collapse optimality and does not break the feature-classifier alignment in an incremental fashion. Experiments on the miniImageNet, CUB-200, and CIFAR-100 datasets demonstrate that our proposed framework outperforms the state-of-the-art performances. Code address: https://github.com/NeuralCollapseApplications/FSCIL

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL