Dynamic Residual Classifier for Class Incremental Learning

要約

リハーサル戦略は、以前のタスクからの限られた模範を保存することで、クラス増分学習 (CIL) における致命的な忘却の問題を軽減するために広く使用されています。
古いクラスと新しいクラスの間でサンプル数が不均衡であると、分類器の学習に偏りが生じる可能性があります。
既存の CIL 手法は、調整された損失やデータの再サンプリング手法などのロングテール (LT) 認識手法を利用して、各増分タスク内のデータの不均衡の問題を処理します。
この研究では、CIL におけるデータの不均衡の動的な性質が示され、この困難なシナリオを処理するための新しい動的残差分類器 (DRC) が提案されています。
具体的には、DRC は、モデル成長問題を処理するためにブランチ層がマージされた最新の高度な残差分類器に基づいて構築されています。
さらに、DRC はさまざまな CIL パイプラインと互換性があり、それらを大幅に改善します。
DRC とモデル アダプテーションおよびフュージョン (MAF) パイプラインを組み合わせるこの方法では、従来の CIL ベンチマークと LT-CIL ベンチマークの両方で最先端の結果が得られます。
詳細な分析のために大規模な実験も行われます。
コードは公開されています。

要約(オリジナル)

The rehearsal strategy is widely used to alleviate the catastrophic forgetting problem in class incremental learning (CIL) by preserving limited exemplars from previous tasks. With imbalanced sample numbers between old and new classes, the classifier learning can be biased. Existing CIL methods exploit the long-tailed (LT) recognition techniques, e.g., the adjusted losses and the data re-sampling methods, to handle the data imbalance issue within each increment task. In this work, the dynamic nature of data imbalance in CIL is shown and a novel Dynamic Residual Classifier (DRC) is proposed to handle this challenging scenario. Specifically, DRC is built upon a recent advance residual classifier with the branch layer merging to handle the model-growing problem. Moreover, DRC is compatible with different CIL pipelines and substantially improves them. Combining DRC with the model adaptation and fusion (MAF) pipeline, this method achieves state-of-the-art results on both the conventional CIL and the LT-CIL benchmarks. Extensive experiments are also conducted for a detailed analysis. The code is publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google