Robust Feature Learning and Global Variance-Driven Classifier Alignment for Long-Tail Class Incremental Learning

要約

このペーパーでは、ロングテール クラスの増分学習を強化するために設計された 2 段階のフレームワークを紹介します。これにより、モデルが新しいクラスを段階的に学習できるようにしながら、ロングテール データ分布のコンテキストにおける壊滅的な忘却を軽減します。
ロングテールクラスの増分学習における末尾クラスの過小表現によってもたらされる課題に対処するため、私たちのアプローチは、情報尺度としてのグローバル分散と第 2 段階のクラスプロトタイプを活用することで分類器のアライメントを実現します。
このプロセスにより、クラスのプロパティが効果的に取得され、データのバランシングや追加のレイヤーの調整が不要になります。
第 1 段階での従来のクラス増分学習損失に加えて、提案されたアプローチには、堅牢な特徴表現を学習するためのミックスアップ クラスが組み込まれており、より滑らかな境界が保証されます。
提案されたフレームワークは、ロングテールクラスの増分学習シナリオを効果的に処理するために、任意のクラス増分学習方法とモジュールとしてシームレスに統合できます。
CIFAR-100 および ImageNet-Subset データセットに対する広範な実験により、このアプローチの有効性が検証され、さまざまなロングテール CIL 設定における最先端の技術に対するその優位性が実証されました。

要約(オリジナル)

This paper introduces a two-stage framework designed to enhance long-tail class incremental learning, enabling the model to progressively learn new classes, while mitigating catastrophic forgetting in the context of long-tailed data distributions. Addressing the challenge posed by the under-representation of tail classes in long-tail class incremental learning, our approach achieves classifier alignment by leveraging global variance as an informative measure and class prototypes in the second stage. This process effectively captures class properties and eliminates the need for data balancing or additional layer tuning. Alongside traditional class incremental learning losses in the first stage, the proposed approach incorporates mixup classes to learn robust feature representations, ensuring smoother boundaries. The proposed framework can seamlessly integrate as a module with any class incremental learning method to effectively handle long-tail class incremental learning scenarios. Extensive experimentation on the CIFAR-100 and ImageNet-Subset datasets validates the approach’s efficacy, showcasing its superiority over state-of-the-art techniques across various long-tail CIL settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google