Sculpting [CLS] Features for Pre-Trained Model-Based Class-Incremental Learning

要約

クラスインクリメンタル学習では、モデルが古いクラスを忘れずに新しいクラスの知識を継続的に取得する必要があります。
事前に訓練されたモデルは、クラスインクリメンタル学習において強力なパフォーマンスを実証していますが、新しい概念を学ぶとき、壊滅的な忘却の影響を受けやすいままです。
モデルの過度の可塑性は一般化可能性を破り、忘れを引き起こしますが、強い安定性は新しいクラスへの適応が不十分になります。
これにより、事前に訓練されたモデルの一般的な知識を維持するための最小限の変更を伴う効果的な適応が必要です。
この課題に対処するために、最初に、アダプターキャリブレーターのカップルを介して知識を獲得するように設計された新しいパラメーター効率の高い微調整モジュール「Learn and Calibrate」、またはLucaを導入し、適切に洗練された機能表現で効果的な適応を可能にします。
第二に、学習セッションごとに、分類器の直前に最後のトークンの上にスパースルカモジュールを展開します。これを「トークンレベルのスパースキャリブレーションと適応」、またはTOSCAと呼びます。
この戦略的設計は、モジュール間の直交性を改善し、トレーニングと推論の複雑さの両方を大幅に削減します。
事前に訓練されたモデルの一般化能力をそのまま残し、最後のトークンを介して独占的に適応することにより、私たちのアプローチは安定性と可塑性の調和のとれたバランスを達成します。
広範な実験は、Toscaの最先端のパフォーマンスを示しながら、以前の方法と比較してパラメーターが8倍少ないことを示しています。

要約(オリジナル)

Class-incremental learning requires models to continually acquire knowledge of new classes without forgetting old ones. Although pre-trained models have demonstrated strong performance in class-incremental learning, they remain susceptible to catastrophic forgetting when learning new concepts. Excessive plasticity in the models breaks generalizability and causes forgetting, while strong stability results in insufficient adaptation to new classes. This necessitates effective adaptation with minimal modifications to preserve the general knowledge of pre-trained models. To address this challenge, we first introduce a new parameter-efficient fine-tuning module ‘Learn and Calibrate’, or LuCA, designed to acquire knowledge through an adapter-calibrator couple, enabling effective adaptation with well-refined feature representations. Second, for each learning session, we deploy a sparse LuCA module on top of the last token just before the classifier, which we refer to as ‘Token-level Sparse Calibration and Adaptation’, or TOSCA. This strategic design improves the orthogonality between the modules and significantly reduces both training and inference complexity. By leaving the generalization capabilities of the pre-trained models intact and adapting exclusively via the last token, our approach achieves a harmonious balance between stability and plasticity. Extensive experiments demonstrate TOSCA’s state-of-the-art performance while introducing ~8 times fewer parameters compared to prior methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google