FeTrIL: Feature Translation for Exemplar-Free Class-Incremental Learning

要約

模範のないクラスでの漸進学習は、壊滅的な忘却の悪影響により非常に困難です。
過去のクラスと新しいクラスで良好な精度を得るには、増分プロセスの安定性と可塑性のバランスが必要です。
既存のイグザンプラフリーのクラスインクリメンタル手法は、モデルの連続的な微調整を重視して可塑性を重視するか、初期のインクリメンタル状態の後に固定された特徴抽出器を使用して安定性を重視しています。
安定性と可塑性のバランスを改善するために、固定特徴抽出器と擬似特徴生成器を組み合わせた方法を紹介します。
このジェネレーターは、新しいクラス フィーチャのシンプルかつ効果的な幾何学的変換を使用して、擬似フィーチャで構成される過去のクラスの表現を作成します。
特徴の変換には、擬似特徴を生成するために過去のクラスの重心表現を保存することだけが必要です。
新しいクラスの実際の特徴と過去のクラスの擬似特徴は、すべてのクラスを区別するために段階的にトレーニングされる線形分類器に供給されます。
提案された方法では、ディープ モデル全体を更新する主流の方法と比較して、増分プロセスがはるかに高速になります。
実験は 3 つの困難なデータセットと異なる増分設定を使用して実行されます。
10 の既存の方法と比較すると、ほとんどの場合、私たちの方法が他の方法よりも優れていることがわかります。

要約(オリジナル)

Exemplar-free class-incremental learning is very challenging due to the negative effect of catastrophic forgetting. A balance between stability and plasticity of the incremental process is needed in order to obtain good accuracy for past as well as new classes. Existing exemplar-free class-incremental methods focus either on successive fine tuning of the model, thus favoring plasticity, or on using a feature extractor fixed after the initial incremental state, thus favoring stability. We introduce a method which combines a fixed feature extractor and a pseudo-features generator to improve the stability-plasticity balance. The generator uses a simple yet effective geometric translation of new class features to create representations of past classes, made of pseudo-features. The translation of features only requires the storage of the centroid representations of past classes to produce their pseudo-features. Actual features of new classes and pseudo-features of past classes are fed into a linear classifier which is trained incrementally to discriminate between all classes. The incremental process is much faster with the proposed method compared to mainstream ones which update the entire deep model. Experiments are performed with three challenging datasets, and different incremental settings. A comparison with ten existing methods shows that our method outperforms the others in most cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google