Few-Shot Class Incremental Learning with Attention-Aware Self-Adaptive Prompt

要約

少数ショットクラス増分学習 (FSCIL) モデルは、古いクラスの知識を保持しながら、希少なサンプルを使用して新しいクラスを段階的に学習することを目的としています。
既存の FSCIL メソッドは通常、バックボーン全体を微調整するため、過剰適合が発生し、新しいクラスを学習する可能性が妨げられます。
一方、最近のプロンプトベースの CIL アプローチでは、各タスクで十分なデータを使用してプロンプトをトレーニングすることで、物忘れを軽減します。
この研究では、アテンションアウェア自己適応プロンプト (ASP) という名前の新しいフレームワークを提案します。
ASP は、注意の側面から特定の情報を減らすことで、タスク不変のプロンプトで共有知識を取得することを奨励します。
さらに、ASP の自己適応型のタスク固有のプロンプトは、特定の情報を提供し、情報ボトルネックの学習目標を備えた古いクラスから新しいクラスに知識を伝達します。
要約すると、ASP は基本タスクのオーバーフィッティングを防止し、数ショットの増分タスクで膨大なデータを必要としません。
3 つのベンチマーク データセットに対する広範な実験により、ASP が、新しいクラスの学習と忘却の軽減の両方の点で、最先端の FSCIL およびプロンプトベースの CIL メソッドよりも一貫して優れていることが検証されました。

要約(オリジナル)

Few-Shot Class-Incremental Learning (FSCIL) models aim to incrementally learn new classes with scarce samples while preserving knowledge of old ones. Existing FSCIL methods usually fine-tune the entire backbone, leading to overfitting and hindering the potential to learn new classes. On the other hand, recent prompt-based CIL approaches alleviate forgetting by training prompts with sufficient data in each task. In this work, we propose a novel framework named Attention-aware Self-adaptive Prompt (ASP). ASP encourages task-invariant prompts to capture shared knowledge by reducing specific information from the attention aspect. Additionally, self-adaptive task-specific prompts in ASP provide specific information and transfer knowledge from old classes to new classes with an Information Bottleneck learning objective. In summary, ASP prevents overfitting on base task and does not require enormous data in few-shot incremental tasks. Extensive experiments on three benchmark datasets validate that ASP consistently outperforms state-of-the-art FSCIL and prompt-based CIL methods in terms of both learning new classes and mitigating forgetting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google