TaE: Task-aware Expandable Representation for Long Tail Class Incremental Learning

要約

クラス増分学習 (CIL) は、古いクラスを忘れることなく新しいクラスを学習する分類器をトレーニングすることを目的としています。
ほとんどの CIL 手法は、各タスクのバランスのとれたデータ分散に焦点を当てており、現実世界のロングテール分散は無視されています。
したがって、ロングテールクラス増分学習 (LT-CIL) が導入されました。これは、ヘッドクラスがテールクラスよりも多くのサンプルを持つデータでトレーニングします。
既存の方法は、壊滅的な忘却と闘うために、前のクラスからの代表的なサンプルを保存することに主に焦点を当てています。
最近、動的ネットワーク アルゴリズムにより、古いネットワーク構造が凍結され、新しいネットワーク構造が拡張され、大幅なパフォーマンスが実現されました。
ただし、ロングテール問題の導入により、タスク固有のパラメーターを拡張するだけでは予測の誤調整につながる可能性があり、モデル全体を拡張するとメモリ サイズが爆発的に増加します。
これらの問題に対処するために、新しいタスク認識拡張可能 (TaE) フレームワークを導入し、タスク固有のトレーニング可能なパラメーターを動的に割り当てて更新し、各増分タスクから多様な表現を学習しながら、凍結されたモデル パラメーターの大部分が忘れられるのを防ぎます。
クラス固有の機能表現をさらに促進するために、これらのタスク認識パラメーターの更新をガイドする Centroid-Enhanced (CEd) メソッドを開発します。
このアプローチは、クラス内フィーチャ間の距離を適応的に最小化すると同時に、表示されるすべてのクラスにわたるクラス間フィーチャ間の距離を最大化するように設計されています。
この重心強化手法の有用性は、すべての「ゼロからのトレーニング」CIL アルゴリズムに拡張されます。
CIFAR-100 と ImageNet100 でさまざまな設定の下で広範な実験が実施され、TaE が最先端のパフォーマンスを達成することが実証されました。

要約(オリジナル)

Class-incremental learning (CIL) aims to train classifiers that learn new classes without forgetting old ones. Most CIL methods focus on balanced data distribution for each task, overlooking real-world long-tailed distributions. Therefore, Long-Tailed Class-Incremental Learning (LT-CIL) has been introduced, which trains on data where head classes have more samples than tail classes. Existing methods mainly focus on preserving representative samples from previous classes to combat catastrophic forgetting. Recently, dynamic network algorithms frozen old network structures and expanded new ones, achieving significant performance. However, with the introduction of the long-tail problem, merely extending task-specific parameters can lead to miscalibrated predictions, while expanding the entire model results in an explosion of memory size. To address these issues, we introduce a novel Task-aware Expandable (TaE) framework, dynamically allocating and updating task-specific trainable parameters to learn diverse representations from each incremental task, while resisting forgetting through the majority of frozen model parameters. To further encourage the class-specific feature representation, we develop a Centroid-Enhanced (CEd) method to guide the update of these task-aware parameters. This approach is designed to adaptively minimize the distances between intra-class features while simultaneously maximizing the distances between inter-class features across all seen classes. The utility of this centroid-enhanced method extends to all ‘training from scratch’ CIL algorithms. Extensive experiments were conducted on CIFAR-100 and ImageNet100 under different settings, which demonstrates that TaE achieves state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google