Prototypical quadruplet for few-shot class incremental learning

要約

現代の多くのコンピュータビジョンアルゴリズムは、データの不足と新しいタスクの段階的な学習という2つの主要なボトルネックに悩まされている。新しいデータでモデルを学習している間に、モデルは以前のデータを適切に分類する能力を失い、これは壊滅的忘却と呼ばれるものである。従来の手法では、現在のセッションでの学習が損なわれている間に、以前に学習したデータの壊滅的忘却を軽減しようとしてきた。最新の再生型生成手法は、Generative Adversarial Network (GAN)などの複雑な構造を用いて、壊滅的な忘却に対処しています。また、少ないサンプル数でGANを学習させると、不安定になる可能性がある。本研究では、この2つの主要なハードルに対処するための新しい方法を提示する。本手法は、分類をより頑健にするために、改善された対比損失を用いて、より良い埋め込み空間を特定する。さらに、本手法は、新しいクラスで学習した場合でも、埋め込み空間において以前に獲得した知識を保持することが可能である。我々は、真のクラス平均を表すことができるように、学習中に前のセッションのクラスプロトタイプを更新する。このことは、我々の分類規則が最近接クラス平均の分類戦略に基づいているため、非常に重要である。我々は、新しいクラスでモデルを訓練した後、埋め込み空間がそのまま残っていることを示すことで、我々の結果を実証した。また、異なるセッションにおいて、我々の方法が既存の最先端アルゴリズムよりも精度の面で優れていることを示した。

要約(オリジナル)

Many modern computer vision algorithms suffer from two major bottlenecks: scarcity of data and learning new tasks incrementally. While training the model with new batches of data the model looses it’s ability to classify the previous data judiciously which is termed as catastrophic forgetting. Conventional methods have tried to mitigate catastrophic forgetting of the previously learned data while the training at the current session has been compromised. The state-of-the-art generative replay based approaches use complicated structures such as generative adversarial network (GAN) to deal with catastrophic forgetting. Additionally, training a GAN with few samples may lead to instability. In this work, we present a novel method to deal with these two major hurdles. Our method identifies a better embedding space with an improved contrasting loss to make classification more robust. Moreover, our approach is able to retain previously acquired knowledge in the embedding space even when trained with new classes. We update previous session class prototypes while training in such a way that it is able to represent the true class mean. This is of prime importance as our classification rule is based on the nearest class mean classification strategy. We have demonstrated our results by showing that the embedding space remains intact after training the model with new classes. We showed that our method preformed better than the existing state-of-the-art algorithms in terms of accuracy across different sessions.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL