Steering Prototype with Prompt-tuning for Rehearsal-free Continual Learning

要約

クラス埋め込みの表現としてのプロトタイプは、メモリ フットプリントを削減したり、継続的な学習シナリオの忘却を軽減したりするために検討されています。
ただし、プロトタイプベースのメソッドは、セマンティック ドリフトとプロトタイプの干渉による急激なパフォーマンスの低下に悩まされています。
この研究では、Contrastive Prototyp Prompt (CPP) を提案し、タスク固有のプロンプト チューニングが、対照的な学習目標に対して最適化されると、両方の障害に効果的に対処し、プロトタイプの有効性を大幅に改善できることを示します。
私たちの実験は、CPP が 4 つの挑戦的なクラスの増分学習ベンチマークで優れていることを示しており、最先端の方法よりも 4% から 6% 絶対的な改善が見られます。
さらに、CPP はリハーサル バッファーを必要とせず、継続的学習とオフラインの共同学習の間のパフォーマンス ギャップを大幅に埋め、Transformer アーキテクチャでの継続的学習システムの有望な設計スキームを示しています。

要約(オリジナル)

Prototype, as a representation of class embeddings, has been explored to reduce memory footprint or mitigate forgetting for continual learning scenarios. However, prototype-based methods still suffer from abrupt performance deterioration due to semantic drift and prototype interference. In this study, we propose Contrastive Prototypical Prompt (CPP) and show that task-specific prompt-tuning, when optimized over a contrastive learning objective, can effectively address both obstacles and significantly improve the potency of prototypes. Our experiments demonstrate that CPP excels in four challenging class-incremental learning benchmarks, resulting in 4% to 6% absolute improvements over state-of-the-art methods. Moreover, CPP does not require a rehearsal buffer and it largely bridges the performance gap between continual learning and offline joint-learning, showcasing a promising design scheme for continual learning systems under a Transformer architecture.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google