PlaStIL: Plastic and Stable Memory-Free Class-Incremental Learning

要約

過去の知識を保持しながら新しいデータから学ぶために、クラス単位の学習では可塑性と安定性が必要です。
壊滅的な忘却が原因で、メモリ バッファが利用できない場合、これら 2 つのプロパティ間の妥協点を見つけることは特に困難です。
主流の方法は、以前の増分状態からの知識の蒸留による微調整を使用して新しいクラスを統合するため、2 つの深いモデルを格納する必要があります。
可塑性と安定性のより良いバランスを見つけるために、同様の数のパラメーターを持ち、それらを異なる方法で分散する方法を提案します。
転送ベースの増分メソッドによって既に展開されているアプローチに従って、初期状態の後に特徴抽出器をフリーズします。
最も古い増分状態のクラスは、安定性を確保するために、この凍結されたエクストラクタでトレーニングされます。
最近のクラスは、可塑性を導入するために部分的に微調整されたモデルを使用して予測されます。
提案された可塑性レイヤーは、メモリを使用しない増分学習用に設計された転送ベースの方法に組み込むことができ、そのような 2 つの方法に適用します。
評価は 3 つの大規模なデータセットで行われます。
結果は、既存の方法と比較して、テストされたすべての構成でパフォーマンスの向上が得られることを示しています。

要約(オリジナル)

Plasticity and stability are needed in class-incremental learning in order to learn from new data while preserving past knowledge. Due to catastrophic forgetting, finding a compromise between these two properties is particularly challenging when no memory buffer is available. Mainstream methods need to store two deep models since they integrate new classes using fine tuning with knowledge distillation from the previous incremental state. We propose a method which has similar number of parameters but distributes them differently in order to find a better balance between plasticity and stability. Following an approach already deployed by transfer-based incremental methods, we freeze the feature extractor after the initial state. Classes in the oldest incremental states are trained with this frozen extractor to ensure stability. Recent classes are predicted using partially fine-tuned models in order to introduce plasticity. Our proposed plasticity layer can be incorporated to any transfer-based method designed for memory-free incremental learning, and we apply it to two such methods. Evaluation is done with three large-scale datasets. Results show that performance gains are obtained in all tested configurations compared to existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google