Pre-trained Vision and Language Transformers Are Few-Shot Incremental Learners

要約

Few-Shot Class Incremental Learning (FSCIL) は、各クラスに少数のサンプルのみが与えられた場合に、モデルが新しいクラスを忘れずに段階的に学習することを必要とするタスクです。
FSCIL は、壊滅的な忘却と過剰学習という 2 つの重大な課題に直面しており、これらの課題により、先行研究は主に ResNet-18 などの浅いモデルに依存するようになりました。
容量が限られているため、忘却と過剰適合の問題の両方を軽減できますが、数ショットの増分セッションでは知識の伝達が不十分になります。
この論文では、大規模なデータセットで事前トレーニングされた視覚変換や言語変換などの大規模なモデルが、優れた少数ショットの増分学習器となり得ると主張します。
この目的を達成するために、我々は、プロンプト機能と知識蒸留を備えた事前トレーニング済みビジョンおよび言語トランスフォーマーである PriViLege と呼ばれる新しい FSCIL フレームワークを提案します。
私たちのフレームワークは、新しい事前トレーニング済み知識チューニング (PKT) と 2 つの損失 (エントロピーベースの発散損失と意味論的知識の蒸留損失) を通じて、大規模モデルにおける壊滅的な忘却と過剰適合の課題に効果的に対処します。
実験結果は、提案された PriViLege が既存の最先端の方法を大幅に上回るパフォーマンスを示し、たとえば、CUB200 では +9.38%、CIFAR-100 では +20.58%、miniImageNet では +13.36% という大きなマージンを示します。
実装コードは https://github.com/KHU-AGI/PriViLege で入手できます。

要約(オリジナル)

Few-Shot Class Incremental Learning (FSCIL) is a task that requires a model to learn new classes incrementally without forgetting when only a few samples for each class are given. FSCIL encounters two significant challenges: catastrophic forgetting and overfitting, and these challenges have driven prior studies to primarily rely on shallow models, such as ResNet-18. Even though their limited capacity can mitigate both forgetting and overfitting issues, it leads to inadequate knowledge transfer during few-shot incremental sessions. In this paper, we argue that large models such as vision and language transformers pre-trained on large datasets can be excellent few-shot incremental learners. To this end, we propose a novel FSCIL framework called PriViLege, Pre-trained Vision and Language transformers with prompting functions and knowledge distillation. Our framework effectively addresses the challenges of catastrophic forgetting and overfitting in large models through new pre-trained knowledge tuning (PKT) and two losses: entropy-based divergence loss and semantic knowledge distillation loss. Experimental results show that the proposed PriViLege significantly outperforms the existing state-of-the-art methods with a large margin, e.g., +9.38% in CUB200, +20.58% in CIFAR-100, and +13.36% in miniImageNet. Our implementation code is available at https://github.com/KHU-AGI/PriViLege.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google