Reducing Catastrophic Forgetting in Online Class Incremental Learning Using Self-Distillation

要約

継続的な学習には、モデルが新しいタスクを学習するときに以前の知識が忘れられる、壊滅的な忘却という深刻な問題があります。
この問題を解決するために、さまざまな方法が提案されている。
後のトレーニングで前のタスクのデータを再生する再生メソッドは、良好な精度を示しています。
ただし、再生メソッドにはメモリ バッファーが限られているため、汎用性の問題があります。
本論文では、浅層での汎用性の高い出力を教師として利用し、自己蒸留を通じて移転可能な知識を獲得することで、この問題の解決を試みた。
さらに、多数のクラスや困難なデータを扱う場合、学習が収束せず、過学習が発生しないリスクがあります。
そこで、新しいメモリ更新方法により誤分類されやすいサンプルを優先的に保存することで、より効率的で徹底的な学習を実現することを試みました。
CIFAR10、CIFAR100、MiniimageNetデータセットを用いた実験により、提案手法が従来手法を上回る性能を有することを確認した。

要約(オリジナル)

In continual learning, there is a serious problem of catastrophic forgetting, in which previous knowledge is forgotten when a model learns new tasks. Various methods have been proposed to solve this problem. Replay methods which replay data from previous tasks in later training, have shown good accuracy. However, replay methods have a generalizability problem from a limited memory buffer. In this paper, we tried to solve this problem by acquiring transferable knowledge through self-distillation using highly generalizable output in shallow layer as a teacher. Furthermore, when we deal with a large number of classes or challenging data, there is a risk of learning not converging and not experiencing overfitting. Therefore, we attempted to achieve more efficient and thorough learning by prioritizing the storage of easily misclassified samples through a new method of memory update. We confirmed that our proposed method outperformed conventional methods by experiments on CIFAR10, CIFAR100, and MiniimageNet datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google