Contrastive Supervised Distillation for Continual Representation Learning

要約

本論文では、視覚探索課題における壊滅的な忘却を軽減するためにニューラルネットワークモデルを順次学習する連続表現学習問題のための新しい訓練手順を提案した。
Contrastive Supervised Distillation（CSD）と呼ばれる私たちの方法は、識別機能を学習しながら機能の忘却を減らします。
これは、生徒のモデルが教師のモデルから対照的に学習される蒸留設定でラベル情報を活用することによって実現されます。
広範な実験により、CSDは、現在の最先端の方法を上回ることにより、壊滅的な忘却を軽減する上で有利に機能することが示されています。
我々の結果はまた、視覚的検索タスクで評価された特徴忘却が分類タスクほど壊滅的ではないというさらなる証拠を提供します。
コード：https：//github.com/NiccoBiondi/ContrastiveSupervisedDistillation。

要約(オリジナル)

In this paper, we propose a novel training procedure for the continual representation learning problem in which a neural network model is sequentially learned to alleviate catastrophic forgetting in visual search tasks. Our method, called Contrastive Supervised Distillation (CSD), reduces feature forgetting while learning discriminative features. This is achieved by leveraging labels information in a distillation setting in which the student model is contrastively learned from the teacher model. Extensive experiments show that CSD performs favorably in mitigating catastrophic forgetting by outperforming current state-of-the-art methods. Our results also provide further evidence that feature forgetting evaluated in visual retrieval tasks is not as catastrophic as in classification tasks. Code at: https://github.com/NiccoBiondi/ContrastiveSupervisedDistillation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google