Class Incremental Learning with Self-Supervised Pre-Training and Prototype Learning

要約

ディープ・ニューラル・ネットワーク（DNN）は、閉じたクラス集合のデータセットで大きな成功を収めてきた。しかし、ソーシャルメディアのトピックの新しいカテゴリのような新しいクラスは、現実世界に継続的に追加されるため、漸進的に学習する必要がある。DNNは新しいクラスへの適合に集中し、古いクラスを無視する傾向があるため、これはDNNにとって難しい。最新の手法は知識の蒸留とデータ再生技術に依存しているが、それでも限界がある。本研究では、クラス漸増学習における壊滅的忘却の原因を分析し、その3つの要因（表現ドリフト、表現混乱、分類器の歪み）に起因することを明らかにする。この見解に基づき、固定エンコーダと漸進的に更新されるプロトタイプ分類器を持つ2段階学習フレームワークを提案する。エンコーダは、高い固有次元を持つ特徴空間を生成するために、自己教師付き学習で学習され、その結果、その移植性と一般性が向上する。分類器は、以前に学習したデータのプロトタイプを保持しながら、新しいプロトタイプを段階的に学習する。公開データセットを用いた実験により、本手法は、1クラスあたり5人の試験官を確保した場合、10段階のインクリメンタルな設定の下で、CIFAR-100で18.24%、ImageNet100で9.37%と、最先端の模範に基づく手法を大幅に上回ることが示された。

要約(オリジナル)

Deep Neural Network (DNN) has achieved great success on datasets of closed class set. However, new classes, like new categories of social media topics, are continuously added to the real world, making it necessary to incrementally learn. This is hard for DNN because it tends to focus on fitting to new classes while ignoring old classes, a phenomenon known as catastrophic forgetting. State-of-the-art methods rely on knowledge distillation and data replay techniques but still have limitations. In this work, we analyze the causes of catastrophic forgetting in class incremental learning, which owes to three factors: representation drift, representation confusion, and classifier distortion. Based on this view, we propose a two-stage learning framework with a fixed encoder and an incrementally updated prototype classifier. The encoder is trained with self-supervised learning to generate a feature space with high intrinsic dimensionality, thus improving its transferability and generality. The classifier incrementally learns new prototypes while retaining the prototypes of previously learned data, which is crucial in preserving the decision boundary.Our method does not rely on preserved samples of old classes, is thus a non-exemplar based CIL method. Experiments on public datasets show that our method can significantly outperform state-of-the-art exemplar-based methods when they reserved 5 examplers per class, under the incremental setting of 10 phases, by 18.24% on CIFAR-100 and 9.37% on ImageNet100.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL