Rotation Augmented Distillation for Exemplar-Free Class Incremental Learning with Detailed Analysis

要約

クラス増分学習 (CIL) は、増分タスクに沿って古いクラスと新しいクラスの両方を認識することを目的としています。
CIL のディープ ニューラル ネットワークは壊滅的な忘却に悩まされており、一部のアプローチは、この問題を軽減するために、前のタスクからのサンプルの保存 (イグサンプルベースの設定として知られる) に依存しています。
逆に、このペーパーでは、古いクラス サンプルが保存されていない Exemplar-Free 設定に焦点を当てています。
新しいクラスからの監視のみを使用して深層特徴学習の可塑性と安定性のバランスをとることは、より困難です。
既存の Exemplar-Free CIL メソッドのほとんどは全体的なパフォーマンスのみを報告し、さらなる分析は行っていません。
この研究では、補完的なメトリクスを使用してさまざまな方法をより詳細に検証します。
さらに、我々は、Exemplar-Free 設定下でトップクラスのパフォーマンスの 1 つを達成する、シンプルな CIL メソッドである回転拡張蒸留 (RAD) を提案します。
詳細な分析により、当社の RAD は可塑性と安定性の間の優れたバランスによって利点が得られることがわかりました。
最後に、さらなるデモンストレーションと最先端の手法間の比較のために、初期クラスの数が少ない、より困難なサンプルフリー設定が行われます。

要約(オリジナル)

Class incremental learning (CIL) aims to recognize both the old and new classes along the increment tasks. Deep neural networks in CIL suffer from catastrophic forgetting and some approaches rely on saving exemplars from previous tasks, known as the exemplar-based setting, to alleviate this problem. On the contrary, this paper focuses on the Exemplar-Free setting with no old class sample preserved. Balancing the plasticity and stability in deep feature learning with only supervision from new classes is more challenging. Most existing Exemplar-Free CIL methods report the overall performance only and lack further analysis. In this work, different methods are examined with complementary metrics in greater detail. Moreover, we propose a simple CIL method, Rotation Augmented Distillation (RAD), which achieves one of the top-tier performances under the Exemplar-Free setting. Detailed analysis shows our RAD benefits from the superior balance between plasticity and stability. Finally, more challenging exemplar-free settings with fewer initial classes are undertaken for further demonstrations and comparisons among the state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google