Enhancing Pre-Trained Model-Based Class-Incremental Learning through Neural Collapse

要約

クラスインクリメンタル学習（CIL）は、実際のアプリケーションにとって重要な機能であり、学習システムが以前のタスクから知識を保持しながら新しいタスクに適応できるようにします。
事前に訓練されたモデル（PTMS）の最近の進歩は、CILの分野を大幅に進めており、従来の方法よりも優れた性能を示しています。
ただし、機能がどのように進化し、インクリメンタルタスクに分配されるかを理解することは、依然としてオープンな課題です。
この論文では、トレーニングの最終段階で観察される印象的な現象である神経崩壊（NC）のレンズを介したPTMベースのCILの特徴の進化をモデル化するための新しいアプローチを提案します。
NCとCILの効果の間の接続を調査し、NCジオメトリとの機能分布を調整することで、継続的な学習の動的な動作をキャプチャする能力が向上することを示します。
この洞察に基づいて、神経崩壊にインスパイアされた事前に訓練されたモデルベースのCIL（NCPTM-CIL）を紹介します。これは、特徴空間を動的に調整してエレガントなNC構造に準拠し、それによって継続的な学習プロセスを強化する方法です。
広範な実験は、NCPTM-CILが4つのベンチマークデータセットで最先端の方法よりも優れていることを示しています。
特に、VIT-B/16-IN1Kで初期化すると、NCPTM-CILは、VTABで6.73％、CIFAR-100で1.25％、オムニバンチマークで2.5％を上回ります。

要約(オリジナル)

Class-Incremental Learning (CIL) is a critical capability for real-world applications, enabling learning systems to adapt to new tasks while retaining knowledge from previous ones. Recent advancements in pre-trained models (PTMs) have significantly advanced the field of CIL, demonstrating superior performance over traditional methods. However, understanding how features evolve and are distributed across incremental tasks remains an open challenge. In this paper, we propose a novel approach to modeling feature evolution in PTM-based CIL through the lens of neural collapse (NC), a striking phenomenon observed in the final phase of training, which leads to a well-separated, equiangular feature space. We explore the connection between NC and CIL effectiveness, showing that aligning feature distributions with the NC geometry enhances the ability to capture the dynamic behavior of continual learning. Based on this insight, we introduce Neural Collapse-inspired Pre-Trained Model-based CIL (NCPTM-CIL), a method that dynamically adjusts the feature space to conform to the elegant NC structure, thereby enhancing the continual learning process. Extensive experiments demonstrate that NCPTM-CIL outperforms state-of-the-art methods across four benchmark datasets. Notably, when initialized with ViT-B/16-IN1K, NCPTM-CIL surpasses the runner-up method by 6.73% on VTAB, 1.25% on CIFAR-100, and 2.5% on OmniBenchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google