Cross-Class Feature Augmentation for Class Incremental Learning

要約

私たちは、敵対的攻撃によって動機付けられた機能拡張技術を組み込むことにより、新しいクラス増分学習アプローチを提案します。
私たちは、後続のモデルに向けて知識を蒸留するための教師としての役割を単に果たすのではなく、過去に学習した分類器を使用してトレーニング例を補完します。
提案されたアプローチは、以前に学習された分類子に対する敵対的攻撃を通じて、他のクラスの例を使用して任意のターゲット クラスの機能を強化するため、クラスの増分学習で以前の知識を利用するという独自の視点を持っています。
クラス間の特徴拡張を許可することにより、古いタスクの各クラスは特徴空間にサンプルを便利に取り込むことができ、特に保存されている見本の数が少ない場合に、前のタスクのサンプル不足によって引き起こされる決定境界の崩壊が軽減されます。
このアイデアは、アーキテクチャを変更することなく、既存のクラス増分学習アルゴリズムに簡単に組み込むことができます。
標準ベンチマークに関する広範な実験により、特にメモリ バジェットが非常に限られた環境下では、さまざまなシナリオにおいて、私たちの手法が既存のクラス増分学習手法を大幅に上回るパフォーマンスを一貫して示していることが示されています。

要約(オリジナル)

We propose a novel class incremental learning approach by incorporating a feature augmentation technique motivated by adversarial attacks. We employ a classifier learned in the past to complement training examples rather than simply play a role as a teacher for knowledge distillation towards subsequent models. The proposed approach has a unique perspective to utilize the previous knowledge in class incremental learning since it augments features of arbitrary target classes using examples in other classes via adversarial attacks on a previously learned classifier. By allowing the cross-class feature augmentations, each class in the old tasks conveniently populates samples in the feature space, which alleviates the collapse of the decision boundaries caused by sample deficiency for the previous tasks, especially when the number of stored exemplars is small. This idea can be easily incorporated into existing class incremental learning algorithms without any architecture modification. Extensive experiments on the standard benchmarks show that our method consistently outperforms existing class incremental learning methods by significant margins in various scenarios, especially under an environment with an extremely limited memory budget.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google