Knowledge Restore and Transfer for Multi-label Class-Incremental Learning

要約

現在のクラス増分学習の研究は主に単一ラベル分類タスクに焦点を当てていますが、より実用的なアプリケーション シナリオを備えたマルチラベル クラス増分学習 (MLCIL) はほとんど研究されていません。
クラス増分学習における壊滅的な忘却の問題を解決するための忘却防止手法は数多くありますが、これらの手法では、ラベルの不在と情報の希薄化により、MLCIL 問題を解決することが困難です。
このペーパーでは、古いクラスの知識を復元する動的擬似ラベル (DPL) モジュールと、セッション固有の情報を保存する増分クロスアテンション (ICA) モジュールを含む、MLCIL の知識復元および転送 (KRT) フレームワークを提案します。
知識を習得し、古いクラスの知識を新しいモデルに十分に移転します。
さらに、増分クロスアテンションモジュールを共同で最適化するためのトークンロスを提案します。
MS-COCO および PASCAL VOC データセットの実験結果は、認識パフォーマンスを向上させ、マルチラベルのクラス増分学習タスクの忘れを軽減するための私たちの方法の有効性を示しています。

要約(オリジナル)

Current class-incremental learning research mainly focuses on single-label classification tasks while multi-label class-incremental learning (MLCIL) with more practical application scenarios is rarely studied. Although there have been many anti-forgetting methods to solve the problem of catastrophic forgetting in class-incremental learning, these methods have difficulty in solving the MLCIL problem due to label absence and information dilution. In this paper, we propose a knowledge restore and transfer (KRT) framework for MLCIL, which includes a dynamic pseudo-label (DPL) module to restore the old class knowledge and an incremental cross-attention(ICA) module to save session-specific knowledge and transfer old class knowledge to the new model sufficiently. Besides, we propose a token loss to jointly optimize the incremental cross-attention module. Experimental results on MS-COCO and PASCAL VOC datasets demonstrate the effectiveness of our method for improving recognition performance and mitigating forgetting on multi-label class-incremental learning tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google