FeTrIL: Feature Translation for Exemplar-Free Class-Incremental Learning

要約

壊滅的な忘却の悪影響により、手本を使用しないクラス単位の学習は非常に困難です。
過去のクラスと新しいクラスの精度を高めるには、インクリメンタル プロセスの安定性と可塑性のバランスが必要です。
既存の見本のないクラスインクリメンタル手法は、モデルの連続的な微調整に焦点を当てて可塑性を優先するか、初期のインクリメンタル状態の後に固定された特徴抽出器を使用して安定性を優先します。
固定特徴抽出器と疑似特徴生成器を組み合わせて、安定性と可塑性のバランスを改善する方法を紹介します。
ジェネレーターは、新しいクラス フィーチャのシンプルかつ効果的な幾何学的変換を使用して、疑似フィーチャで構成される過去のクラスの表現を作成します。
機能の変換では、過去のクラスの重心表現を格納して疑似機能を生成するだけで済みます。
新しいクラスの実際の特徴と過去のクラスの疑似特徴は、すべてのクラスを区別するために段階的にトレーニングされる線形分類器に入力されます。
増分プロセスは、ディープ モデル全体を更新する主流の方法と比較して、提案された方法ではるかに高速です。
実験は、3 つの挑戦的なデータセットと異なる増分設定で実行されます。
既存の 10 の方法と比較すると、ほとんどの場合、私たちの方法が他の方法よりも優れていることがわかります。

要約(オリジナル)

Exemplar-free class-incremental learning is very challenging due to the negative effect of catastrophic forgetting. A balance between stability and plasticity of the incremental process is needed in order to obtain good accuracy for past as well as new classes. Existing exemplar-free class-incremental methods focus either on successive fine tuning of the model, thus favoring plasticity, or on using a feature extractor fixed after the initial incremental state, thus favoring stability. We introduce a method which combines a fixed feature extractor and a pseudo-features generator to improve the stability-plasticity balance. The generator uses a simple yet effective geometric translation of new class features to create representations of past classes, made of pseudo-features. The translation of features only requires the storage of the centroid representations of past classes to produce their pseudo-features. Actual features of new classes and pseudo-features of past classes are fed into a linear classifier which is trained incrementally to discriminate between all classes. The incremental process is much faster with the proposed method compared to mainstream ones which update the entire deep model. Experiments are performed with three challenging datasets, and different incremental settings. A comparison with ten existing methods shows that our method outperforms the others in most cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google