PL-FSCIL: Harnessing the Power of Prompts for Few-Shot Class-Incremental Learning

要約

Few-Shot Class-Incremental Learning (FSCIL) は、ディープ ニューラル ネットワークが、以前に学習したタスクを忘れることなく、少数のラベル付きサンプルから新しいタスクを段階的に学習できるようにすることを目的としており、人間の学習パターンを厳密に模倣します。
この論文では、FSCIL のプロンプト学習 (PL-FSCIL) と呼ばれる新しいアプローチを提案します。これは、プロンプトの力を事前トレーニング済みのビジョン トランスフォーマー (ViT) モデルと組み合わせて活用し、FSCIL の課題に効果的に対処します。
私たちの取り組みは、FSCIL での視覚的なプロンプトの使用の先駆者であり、その顕著なシンプルさが特徴です。
PL-FSCIL は、ドメイン プロンプトと FSCIL プロンプトという 2 つの異なるプロンプトで構成されます。
どちらも、ViT モデルのアテンション層に埋め込むことでモデルを拡張するベクトルです。
具体的には、ドメイン プロンプトは、ViT モデルが新しいデータ ドメインに適応するのを支援します。
タスク固有の FSCIL プロンプトとプロトタイプ分類子を組み合わせることで、FSCIL タスクを効果的に処理するモデルの能力が強化されます。
CIFAR-100 や CUB-200 などの広く使用されているベンチマーク データセットで PL-FSCIL の有効性を検証します。
この結果は、競争力のあるパフォーマンスを示しており、高品質のデータが不足していることが多い現実世界のアプリケーションに対するその有望な可能性を強調しています。
ソース コードは https://github.com/TianSongS/PL-FSCIL から入手できます。

要約(オリジナル)

Few-Shot Class-Incremental Learning (FSCIL) aims to enable deep neural networks to learn new tasks incrementally from a small number of labeled samples without forgetting previously learned tasks, closely mimicking human learning patterns. In this paper, we propose a novel approach called Prompt Learning for FSCIL (PL-FSCIL), which harnesses the power of prompts in conjunction with a pre-trained Vision Transformer (ViT) model to address the challenges of FSCIL effectively. Our work pioneers the use of visual prompts in FSCIL, which is characterized by its notable simplicity. PL-FSCIL consists of two distinct prompts: the Domain Prompt and the FSCIL Prompt. Both are vectors that augment the model by embedding themselves into the attention layer of the ViT model. Specifically, the Domain Prompt assists the ViT model in adapting to new data domains. The task-specific FSCIL Prompt, coupled with a prototype classifier, amplifies the model’s ability to effectively handle FSCIL tasks. We validate the efficacy of PL-FSCIL on widely used benchmark datasets such as CIFAR-100 and CUB-200. The results showcase competitive performance, underscoring its promising potential for real-world applications where high-quality data is often scarce. The source code is available at: https://github.com/TianSongS/PL-FSCIL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google