CEAT: Continual Expansion and Absorption Transformer for Non-Exemplar Class-Incremental Learnin

要約

実際のアプリケーションでは、動的なシナリオでは、モデルが古い知識を忘れることなく新しいタスクを継続的に学習する機能を備えている必要があります。
Experience-Replay メソッドは、共同トレーニング用に古い画像のサブセットを保存します。
より厳格なプライバシー保護のシナリオでは、古い画像を保存することが不可能になり、より深刻な可塑性と安定性のジレンマと分類子バイアスが発生します。
上記の課題に対処するために、私たちは連続膨張吸収変圧器 (CEAT) と呼ばれる新しいアーキテクチャを提案します。
モデルは、凍結された以前のパラメータと並行して拡張融合層を拡張することで、新しい知識を学習できます。
タスクの終了後、拡張パラメータをロスレスでバックボーンに吸収し、パラメータの数が一定に保たれるようにします。
モデルの学習能力を向上させるために、特徴空間における古いクラスと新しいクラスの間の重複を減らすための新しいプロトタイプのコントラスト損失を設計しました。
さらに、新しいクラスに対する分類器のバイアスに対処するために、分類器を修正するための擬似特徴を生成する新しいアプローチを提案します。
私たちは、3 つの標準的な Non-Exemplar Class-Incremental Learning~(NECIL) ベンチマークでメソッドを実験します。
広範な実験により、私たちのモデルは以前の研究と比較して大幅な改善が得られ、CIFAR-100、TinyImageNet、および ImageNet-Subset で 5.38%、5.20%、および 4.92% の改善が達成されることが実証されました。

要約(オリジナル)

In real-world applications, dynamic scenarios require the models to possess the capability to learn new tasks continuously without forgetting the old knowledge. Experience-Replay methods store a subset of the old images for joint training. In the scenario of more strict privacy protection, storing the old images becomes infeasible, which leads to a more severe plasticity-stability dilemma and classifier bias. To meet the above challenges, we propose a new architecture, named continual expansion and absorption transformer~(CEAT). The model can learn the novel knowledge by extending the expanded-fusion layers in parallel with the frozen previous parameters. After the task ends, we losslessly absorb the extended parameters into the backbone to ensure that the number of parameters remains constant. To improve the learning ability of the model, we designed a novel prototype contrastive loss to reduce the overlap between old and new classes in the feature space. Besides, to address the classifier bias towards the new classes, we propose a novel approach to generate the pseudo-features to correct the classifier. We experiment with our methods on three standard Non-Exemplar Class-Incremental Learning~(NECIL) benchmarks. Extensive experiments demonstrate that our model gets a significant improvement compared with the previous works and achieves 5.38%, 5.20%, and 4.92% improvement on CIFAR-100, TinyImageNet, and ImageNet-Subset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google