Gradient Reweighting: Towards Imbalanced Class-Incremental Learning

要約

クラス増分学習 (CIL) は、学習した知識を保持しながら、非定常データから新しいクラスを継続的に認識するようにモデルをトレーニングします。
CIL の大きな課題は、不均一な分布を特徴とする実世界のデータに適用する場合に発生します。これにより、(i) 保存されている古いタスクのサンプルと新しいクラス データの間の差異 (フェーズ間の不均衡)、および (
ii) 個々のタスク内の深刻なクラスの不均衡 (フェーズ内不均衡)。
この二重不均衡の問題により、FC 層で偏った重みによる歪んだ勾配更新が引き起こされ、CIL での過大/過小フィッティングと壊滅的な忘却が引き起こされることを示します。
私たちの方法では、バランスの取れた最適化と不偏な分類器学習に向けて勾配を再重み付けすることでこの問題に対処します。
さらに、逆説的に、後続の学習フェーズで大量のトレーニング データが使用できなくなるため、CIL 中にインスタンスが豊富なクラスがより高いパフォーマンス低下に見舞われる不均衡な忘却が観察されます。
これに取り組むために、分布を意識した知識の蒸留損失をさらに導入し、失われたトレーニング データの分布に比例して出力ロジットを調整することで忘却を軽減します。
私たちは、さまざまな評価プロトコルにわたって CIFAR-100、ImageNetSubset、Food101 でメソッドを検証し、既存の研究と比較して一貫した改善を実証し、堅牢性と有効性が強化された現実世界のシナリオに CIL を適用する大きな可能性を示しています。

要約(オリジナル)

Class-Incremental Learning (CIL) trains a model to continually recognize new classes from non-stationary data while retaining learned knowledge. A major challenge of CIL arises when applying to real-world data characterized by non-uniform distribution, which introduces a dual imbalance problem involving (i) disparities between stored exemplars of old tasks and new class data (inter-phase imbalance), and (ii) severe class imbalances within each individual task (intra-phase imbalance). We show that this dual imbalance issue causes skewed gradient updates with biased weights in FC layers, thus inducing over/under-fitting and catastrophic forgetting in CIL. Our method addresses it by reweighting the gradients towards balanced optimization and unbiased classifier learning. Additionally, we observe imbalanced forgetting where paradoxically the instance-rich classes suffer higher performance degradation during CIL due to a larger amount of training data becoming unavailable in subsequent learning phases. To tackle this, we further introduce a distribution-aware knowledge distillation loss to mitigate forgetting by aligning output logits proportionally with the distribution of lost training data. We validate our method on CIFAR-100, ImageNetSubset, and Food101 across various evaluation protocols and demonstrate consistent improvements compared to existing works, showing great potential to apply CIL in real-world scenarios with enhanced robustness and effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google