Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning

要約

少数ショット クラス増分学習 (FSCIL) では、以前に学習したクラスの知識を維持しながら、最小限のトレーニング サンプルで新しいクラスをモデルに統合するという課題に直面します。
従来の方法では、固定パラメータ空間に依存して順次到着するデータから学習する静的適応が広く採用されており、現在のセッションに過剰適合する傾向があります。
既存の動的戦略ではパラメータ空間を継続的に拡張する必要があり、複雑さが増大します。
この研究では、これらの課題に対処するためのシーケンス モデリングにおける動的な重みと強力な機能を活用して、FSCIL の選択的状態空間モデル (SSM) の可能性を探ります。
具体的には、動的適応のための中間特徴に基づいて投影パラメータを動的に調整するデュアル選択的 SSM プロジェクタを提案します。
二重設計により、モデルは基本クラスの堅牢な機能を維持しながら、新しいクラスの特有の機能の変化を適応的に学習できます。
さらに、動的適応をガイドするために、クラスに応じた選択的スキャン メカニズムを開発します。
これにより、新規データのトレーニングによって引き起こされる基底クラス表現への混乱が最小限に抑えられ、同時に基底クラスと新規クラスの間で異なるパターンで選択スキャンが実行されるようになります。
miniImageNet、CUB-200、および CIFAR-100 での実験により、私たちのフレームワークが既存の最先端の方法よりも優れていることが実証されました。
コードは \url{https://github.com/xiaojieli0903/Mamba-FSCIL} で入手できます。

要約(オリジナル)

Few-shot class-incremental learning (FSCIL) confronts the challenge of integrating new classes into a model with minimal training samples while preserving the knowledge of previously learned classes. Traditional methods widely adopt static adaptation relying on a fixed parameter space to learn from data that arrive sequentially, prone to overfitting to the current session. Existing dynamic strategies require the expansion of the parameter space continually, leading to increased complexity. In this study, we explore the potential of Selective State Space Models (SSMs) for FSCIL, leveraging its dynamic weights and strong ability in sequence modeling to address these challenges. Concretely, we propose a dual selective SSM projector that dynamically adjusts the projection parameters based on the intermediate features for dynamic adaptation. The dual design enables the model to maintain the robust features of base classes, while adaptively learning distinctive feature shifts for novel classes. Additionally, we develop a class-sensitive selective scan mechanism to guide dynamic adaptation. It minimizes the disruption to base-class representations caused by training on novel data, and meanwhile, forces the selective scan to perform in distinct patterns between base and novel classes. Experiments on miniImageNet, CUB-200, and CIFAR-100 demonstrate that our framework outperforms the existing state-of-the-art methods. The code is available at \url{https://github.com/xiaojieli0903/Mamba-FSCIL}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google