Non-exemplar Class-incremental Learning by Random Auxiliary Classes Augmentation and Mixed Features

要約

非模範クラス増分学習とは、古いクラスのサンプルを保存せずに新しいクラスと古いクラスを分類することを指します。
最適化には新しいクラスのサンプルしか利用できないため、古い知識が壊滅的に忘れられてしまうことがよくあります。
この問題を軽減するために、モデル蒸留、クラス拡張などの多くの新しい方法が提案されています。
この論文では、ランダム補助クラス拡張と混合特徴からなるRAMFと呼ばれる効果的な非模範的手法を提案します。
一方では、新しいランダム補助クラス拡張方法を設計します。この方法では、3 つの拡張から 1 つの拡張がランダムに選択され、入力に適用されて拡張サンプルと追加のクラス ラベルが生成されます。
データとラベル空間を拡張することで、モデルがより多様な表現を学習できるようになり、モデルがタスク固有の特徴の学習に偏ることを防ぐことができます。
新しいタスクを学習する際、特徴空間の変更が減少し、モデルの一般化が向上します。
一方、モデルを最適化するために新しい特徴を使用するだけでは、特徴空間に以前に埋め込まれていた表現に影響を与えるため、混合特徴を使用して新しい特徴を置き換えます。
代わりに、新しい機能と古い機能を組み合わせることで、計算の複雑さを増すことなく古い知識を保持できます。
3 つのベンチマークに関する広範な実験により、私たちのアプローチの優位性が実証され、これは最先端の非模範的な手法を上回り、高性能のリプレイベースの手法に匹敵します。

要約(オリジナル)

Non-exemplar class-incremental learning refers to classifying new and old classes without storing samples of old classes. Since only new class samples are available for optimization, it often occurs catastrophic forgetting of old knowledge. To alleviate this problem, many new methods are proposed such as model distillation, class augmentation. In this paper, we propose an effective non-exemplar method called RAMF consisting of Random Auxiliary classes augmentation and Mixed Feature. On the one hand, we design a novel random auxiliary classes augmentation method, where one augmentation is randomly selected from three augmentations and applied on the input to generate augmented samples and extra class labels. By extending data and label space, it allows the model to learn more diverse representations, which can prevent the model from being biased towards learning task-specific features. When learning new tasks, it will reduce the change of feature space and improve model generalization. On the other hand, we employ mixed feature to replace the new features since only using new feature to optimize the model will affect the representation that was previously embedded in the feature space. Instead, by mixing new and old features, old knowledge can be retained without increasing the computational complexity. Extensive experiments on three benchmarks demonstrate the superiority of our approach, which outperforms the state-of-the-art non-exemplar methods and is comparable to high-performance replay-based methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google