Resolving Task Confusion in Dynamic Expansion Architectures for Class Incremental Learning

要約

動的拡張アーキテクチャは、主に破局的忘却を緩和する利点から、クラス漸増学習において一般的になってきている。しかし、この枠組みではタスクの混乱がうまく評価されていない。例えば、異なるタスクのクラス間の不一致（タスク間混乱：ITC）はうまく学習されず、また、最新のクラスバッチに一定の優先度が与えられる（新旧混乱：ONC）が、まだある。我々は、この2種類の混同の副作用を経験的に検証する。一方、タスク相関漸増学習(TCIL)と呼ばれる新しいソリューションは、タスク間で識別的かつ公平な特徴量の利用を促すために提案される。TCILは、古いタスクから学習した知識を新しいタスクに伝搬させるために、マルチレベルの知識蒸留を行う。特徴量とロジットレベルの両方で情報フローパスを確立し、古いクラスを意識した学習を可能にする。さらに、より公平な分類スコアを生成するために、注意メカニズムや分類器の再スコアリングが適用される。我々は、CIFAR100とImageNet100のデータセットで広範囲な実験を行った。その結果、TCILは一貫して最先端の精度を達成することが示された。また、ITCとONCの両方を緩和し、リハーサルメモリが確保されていない場合でも、壊滅的忘却との戦いに優位性を示す。

要約(オリジナル)

The dynamic expansion architecture is becoming popular in class incremental learning, mainly due to its advantages in alleviating catastrophic forgetting. However, task confusion is not well assessed within this framework, e.g., the discrepancy between classes of different tasks is not well learned (i.e., inter-task confusion, ITC), and certain priority is still given to the latest class batch (i.e., old-new confusion, ONC). We empirically validate the side effects of the two types of confusion. Meanwhile, a novel solution called Task Correlated Incremental Learning (TCIL) is proposed to encourage discriminative and fair feature utilization across tasks. TCIL performs a multi-level knowledge distillation to propagate knowledge learned from old tasks to the new one. It establishes information flow paths at both feature and logit levels, enabling the learning to be aware of old classes. Besides, attention mechanism and classifier re-scoring are applied to generate more fair classification scores. We conduct extensive experiments on CIFAR100 and ImageNet100 datasets. The results demonstrate that TCIL consistently achieves state-of-the-art accuracy. It mitigates both ITC and ONC, while showing advantages in battle with catastrophic forgetting even no rehearsal memory is reserved.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL