Adapter-Enhanced Semantic Prompting for Continual Learning

要約

継続的な学習（CL）により、モデルは進化するデータストリームに適応できます。
CLの主要な課題は、壊滅的な忘却です。ここでは、新しい知識が以前に獲得した知識を上書きします。
従来の方法は通常、モデルにリプレイまたは追加のブランチを追加するための過去のデータを保持して、高いメモリ要件を持つ新しい知識を学習します。
このホワイトペーパーでは、プロンプトチューニングとアダプターのテクニックを統合する新しい軽量CLフレームワーク、アダプター強化セマンティックプロンプト（AESP）を提案します。
具体的には、セマンティックガイド付きプロンプトを設計して、視覚機能の一般化能力を強化し、アダプターを利用してセマンティック情報を効率的に融合し、継続的な学習タスクの適応機能をより多く学ぶことを目指しています。
さらに、機能適応のために適切なタスクプロンプトを選択するために、迅速な選択のための新しいマッチングメカニズムを開発しました。
3つのCLデータセットでの広範な実験は、私たちのアプローチが複数のメトリックにわたって好ましいパフォーマンスを達成し、CLを進める可能性を示していることを示しています。

要約(オリジナル)

Continual learning (CL) enables models to adapt to evolving data streams. A major challenge of CL is catastrophic forgetting, where new knowledge will overwrite previously acquired knowledge. Traditional methods usually retain the past data for replay or add additional branches in the model to learn new knowledge, which has high memory requirements. In this paper, we propose a novel lightweight CL framework, Adapter-Enhanced Semantic Prompting (AESP), which integrates prompt tuning and adapter techniques. Specifically, we design semantic-guided prompts to enhance the generalization ability of visual features and utilize adapters to efficiently fuse the semantic information, aiming to learn more adaptive features for the continual learning task. Furthermore, to choose the right task prompt for feature adaptation, we have developed a novel matching mechanism for prompt selection. Extensive experiments on three CL datasets demonstrate that our approach achieves favorable performance across multiple metrics, showing its potential for advancing CL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google