Boosting Open-Domain Continual Learning via Leveraging Intra-domain Category-aware Prototype

要約

視覚言語モデル (VLM) におけるオープンドメイン継続学習 (ODCL) の有効性を高める最近の進歩にもかかわらず、(1) テスト画像のタスク ID を正しく識別すること、(2) 対応するカテゴリ セットのみを使用することは失敗しています。
各ドメインに関連する知識を保持しながら、タスク ID に関連付けることは、ODCL の 2 つの主要な課題 (古い知識の忘れとゼロショット機能の維持) に対処することはできません。また、ドメイン間のカテゴリの関連性によって引き起こされる混乱にも対処できません。
このペーパーでは、シンプルかつ効果的なソリューションを提案します。それは、CLIP (DPeCLIP) における ODCL のドメイン内カテゴリ認識プロトタイプを活用することであり、プロトタイプが上記 2 つのプロセスを橋渡しする鍵となります。
具体的には、Task-IDを識別するための分類器としてプロトタイプを利用することにより、トレーニング不要のTask-ID識別法を提案する。
さらに、各ドメインに対応する知識を維持するために、ドメイン内のカテゴリを認識したプロトタイプをドメイン事前プロンプトとしてトレーニング プロセスに組み込みます。
11 の異なるデータセットに対して行われた広範な実験により、私たちのアプローチの有効性が実証され、クラス増分設定とタスク増分設定でそれぞれ平均 2.37% と 1.14% の改善が達成されました。

要約(オリジナル)

Despite recent progress in enhancing the efficacy of Open-Domain Continual Learning (ODCL) in Vision-Language Models (VLM), failing to (1) correctly identify the Task-ID of a test image and (2) use only the category set corresponding to the Task-ID, while preserving the knowledge related to each domain, cannot address the two primary challenges of ODCL: forgetting old knowledge and maintaining zero-shot capabilities, as well as the confusions caused by category-relatedness between domains. In this paper, we propose a simple yet effective solution: leveraging intra-domain category-aware prototypes for ODCL in CLIP (DPeCLIP), where the prototype is the key to bridging the above two processes. Concretely, we propose a training-free Task-ID discriminator method, by utilizing prototypes as classifiers for identifying Task-IDs. Furthermore, to maintain the knowledge corresponding to each domain, we incorporate intra-domain category-aware prototypes as domain prior prompts into the training process. Extensive experiments conducted on 11 different datasets demonstrate the effectiveness of our approach, achieving 2.37% and 1.14% average improvement in class-incremental and task-incremental settings, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google