EXACFS — A CIL Method to mitigate Catastrophic Forgetting

要約

ディープ・ニューラル・ネットワーク（DNNS）は、静的なデータセットからの学習には優れているが、データが逐次届くような継続的な学習には苦労する。壊滅的忘却（以前に学習した知識を忘れてしまう現象）は主要な課題である。本稿では、クラス漸進学習（CIL）設定においてこの問題を軽減するために、EXponentially Averaged Class-wise Feature Significance（EXACFS）を導入する。損失勾配を用いて学習された各クラスに対するモデル特徴の有意性を推定し、漸進的なタスクを通して徐々に有意性をエージングし、蒸留損失によって有意な特徴を保存することで、EXACFSは古い知識の記憶（安定性）と新しい知識の学習（可塑性）のバランスを効果的にとる。CIFAR-100とImageNet-100を用いた広範な実験により、EXACFSが可塑性を獲得しながら安定性を保つという優れた性能を持つことが実証された。

要約(オリジナル)

Deep neural networks (DNNS) excel at learning from static datasets but struggle with continual learning, where data arrives sequentially. Catastrophic forgetting, the phenomenon of forgetting previously learned knowledge, is a primary challenge. This paper introduces EXponentially Averaged Class-wise Feature Significance (EXACFS) to mitigate this issue in the class incremental learning (CIL) setting. By estimating the significance of model features for each learned class using loss gradients, gradually aging the significance through the incremental tasks and preserving the significant features through a distillation loss, EXACFS effectively balances remembering old knowledge (stability) and learning new knowledge (plasticity). Extensive experiments on CIFAR-100 and ImageNet-100 demonstrate EXACFS’s superior performance in preserving stability while acquiring plasticity.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL